Kalk Bay wurde zuerst von Schiffbrüchigen und Desertierten bewohnt.
"Kalk Bay" hat seinen Namen von einem alten Kalk-Brennofen der aus Muscheln den Kalk für die Holländisch - Ostindische Handelskompanie gewann.
Die Fischindustrie begann sich um 1800 anzusiedeln, 1883 kam der Eisenbahnanschluß dazu.

Der kleine Ort, der sich auf einem schmalen Saum zwischen Meer und Berg entlangzieht, wurde schon im 17. Jahrhundert von einer Handvoll gestrandeter Seeleute gegründet.

Bekannt wurde Kalk Bay durch seine Brennöfen, in denen aus Muschelkalk Baumaterial für die Dutch East India Company gebrannt wurde. Daher erhielt er natürlich auch seinen Namen. Später, zu Beginn des 19. Jahrhunderts, entwickelte sich Kalk Bay mehr und mehr zu einem Fischereihafen, der auch heute noch von großer Bedeutung ist.

Nicht entgehen lassen sollte man sich also einen Besuch im Hafen von Kalk Bay. Der Hafen ist die Attraktion in Kalk Bay. Man kann den Fischern über die Schulter gucken, wenn sie in den geschützten Hafen zurückkehren und ihren Fang entladen. Wenn die bunten Fischerboote in den Hafen einlaufen (meist zur frühen Mittagszeit), kann man den Fischern beim Anpreisen ihres Fangs zuschauen.