Leidt van het begijnhof (zie Achterburg) naar de Schelde (thans Margaretha van Parmastraat). Tot begin 20ste eeuw stond aan de Schelde een watermolen zogenaamde "Speymolen". Het "Spei" was één van de oude stuwsluizen met watermolen te Oudenaarde, reeds vermeld in 1155. In de middeleeuwen opgericht door de heer van Oudenaarde en baron van Pamele, ook tolheffer, oorspronkelijk als graanmolen, later potloodmolen, volmolen (opgericht in 1672-73), graanmolen (1679) en oliemolen (18de eeuw). In 1850 bouwde L. De Buck een nieuwe oliemolen naast de bestaande, die hij in 1864 verenigde. Gebouwen vergroot in 1878 en plaatsing nieuwe stoommachine in 1884. In 1887 verkoop aan schepen L. Van der Stichelen. In 1908 staatseigendom gevolgd door sloop.
Straat zogenaamd naar het middeleeuwse "kasteel van Pamele" of de "borch van Oudenaarde", verblijfplaats van de baron van Pamele, die ook heer en gouverneur van Oudenaarde was. Eerste burcht vermoedelijk opgericht circa 1000 in opdracht van graaf Boudewijn IV. In 1064 wordt een "turris Aldenardensis" vermeld en in 1127 een stenen toren. In de 13de eeuw werd de 11de-eeuwse donjon vervangen door een kasteel met uitspringende torens. In 1627 liet de heer van Oudenaarde, baron van Pamele, Guillaume de Locquenghien, de vervallen versterking vervangen door een nieuw kasteel. Uit bewaard gebleven tekeningen en documenten, bijvoorbeeld van A. Sanderus, blijkt dat het omwalde kasteel een onregelmatige achthoekige vorm had rondom een binnenplaats met op de noord, west- en oosthoek ronde torens en in de weermuren ertussen nog eens kleinere torentjes. Een kasteel met twee bouwlagen was ingeplant tegen de Noordwestelijke- en Noordoostelijke muur. De toegang tot de versterking bestond uit een valbrug met een imposant poortgebouw voorzien van flankerende ronde torens. Het kasteel van de baron van Pamele werd bij de beschieting van de stad door de Franse troepen van Lodewijk XIV volledig afgebrand. Sloop van het kasteel van Pamele in 1782. Op de plaats van het kasteel werden kavels door particulieren gekocht (1783) en de Kasteelstraat werd dwars doorheen de versterking getrokken (1786). De straat werd in 1806 voor het eerst gekasseid.
CALLEBAUT D.-VAN DER PLAETSEN P.-DECOCK W., De Borch van Oudenaarde, in Archaeologia Belgica, I, 2, 1985, p. 103-108.
DE SMET M., Bartolomeus de Rantere, Geschiedenis van Oudenaarde van 1720 tot 1786, Oudenaarde, 1985, p. 109-110.
Inventaris van de wind- en watermolens in de provincie Oostvlaanderen, Kultureel Jaarboek voor de provincie Oostvlaanderen, 1962, Tweede Band, 1963, p. 62-63.
VANDEPUTTE J.L.Th., De molens van het arrondissement Oudenaarde, uit hun geschiedenis, Oudenaarde, 1974, p. 264-268.
VANDE VELDE H., Het Oudenaardsche door de Eeuwen heen, Leupegem, 1946, p. 33, 174.
VAN DE VYVERE P., Audenaerde et ses monuments, Oudenaarde, 1913, p. 135-138.
Bron: BOGAERT C., LANCLUS K., TACK A. & VERBEECK M. 1996: Inventaris van het cultuurbezit in België, Architectuur Provincie Oost-Vlaanderen, Arrondissement Oudenaarde, Stad Oudenaarde met fusiegemeenten, Bouwen door de eeuwen heen in Vlaanderen 15n1, Brussel - Turnhout. Auteurs: Bogaert, Chris; Lanclus, Kathleen; Verbeeck, Mieke; Tack, Anja Datum: De tekst wordt ter beschikking gesteld door: Agentschap Onroerend Erfgoed (AOE)
