Straat in de kern van het gehucht Kastel, vanaf de oude hoofdstraat Baasrodeveerstraat tegenover de Sint-Jozefstraat westwaarts leiding richting de Scheldedijk. Deels teruggaand op een in de tweede helft van de 18de eeuw al bestaand wegtracé. Huidige benaming ontleend aan het toponiem "den ganzen bergh" (zie land- en kaartenboek van Moerzeke van 1772-1782 opgemaakt door J.B. Martens) en verwijzend naar één van de drie met "berg" aangeduide, nog aanwezige terreinverhevenheden binnen Hoog Kastel.

Vroegere straatbenaming Molenstraat refererend aan de verdwenen Ganzenbergmolen of Castellemolen, een houten staakmolen op molenberg die hier op de hoogte van de Ganzenberg werd opgericht, te situeren tegenover het voormalige molenaarshuis (zie nummer 8). Met de bouw in 1875-1877 van een eigen parochiekerk voor Kastel aan de Ganzenberg aan een bescheiden nieuw gecreëerd pleintje naast de Baasrodeveerstraat, verkreeg het afgelegen gehucht het voorkomen van een kerkdorp. De latere inplanting van een typisch parochieschooltje naast de kerk benadrukte nog sterker de centrumfunctie van de locatie.