Im Jahre 1877 kaufte George Bennet hier eine Farm, die er Wilderness nannte. Er wählte diesen Namen wahrscheinlich, weil sie so schwer zu erreichen war. Durch Wilderness verläuft die Nationalstraße N2. Die Stadt ist bekannt für ihren acht Kilometer langen, weißen Sandstrand und die vielen Lagunen.

Der Touws River fließt direkt durch Wilderness und bildet zwischen den Dünen zusammen mit mehreren anderen Gewässern eine Lagune. Die Flusslandschaft ist Bestandteil des Garden Route-Nationalparks. Es herrscht das für die Garden Route typische milde Klima. Die Temperaturen liegen kaum unter 10 °C und über 28 °C.