Oorspronkelijk bood de oude haven bood een rotsachtige maar vooral veilige haven voor de vele kleine vissersboten die rond het midden van de negentiende eeuw Hermanus aandeden om te vissen op de overvloedige hoeveelheid en varieteit van vis. Daarna, rond 1940, werd een nieuwe haven gebouwd. In 1970 werd de oude haven uitgeroepen tot een nationaal monument en in 1972 is het een openluchtmuseuum geworden. Gesitueerd aan de voet van de diverse kliffen en uitkijkend over de Walker Bay, biedt het museum een kijkje in de historie van deze kustplaats. Er is een collectie binnen in het museum en er is openluchttentoonstelling die vertelt over de vroegere visserscultuur en vissers die hier woonden.