Straat ten noordoosten van de dorpskern van Hulste. De straat vertrekt van Hulstedorp en loopt in noordoostelijk richting tot de Muizelstraat; daarna loopt de straat verder als de erfoprit van het Goed "Schiervelde" (nummer 58). De straatnaam verwijst naar het voormalige, hier gelegen kasteel van Schiervelde, waarvan thans enkel de hoeve op het neerhof is bewaard gebleven. De straat verbond het kasteel met de dorpskern van Hulste. De "Kasteeldreve" wordt volgens De Flou voor het eerst vermeld in 1846, de "Kasteelbeek" in 1850 en de "Kasteelstraat" in 1902.

Het ontstaan en uitzicht van de straat werd door de eeuwen heen in grote mate bepaald door het (thans verdwenen) kasteel "Schiervelde". Gevonden aardewerk op de site van het voormalige kasteel, gelegen ten oosten van de huidige Muizelstraat, dateert het ontstaan van de site in de late middeleeuwen (14de-15de eeuw). "Schiervelde" gaat terug tot de grafelijke domeinen van het oud kasteel van Kortrijk, waaruit vrij vroeg de heerlijkheid van Wakken in leen wordt gegeven, dat op zijn beurt in een aantal lenen (waaronder Schiervelde) wordt opgesplitst.

Op 21 juli 1628 wordt de Koninklijke Sint-Pieters Bosseniersgilde gesticht, een karabijnschuttersgilde die vandaag nog steeds bestaat; de gilde bezat verscheidene gronden tussen de huidige Kasteelstraat en de Tieltsestraat. In datzelfde jaar wordt de thans gesloopte herberg "Sint-Hubrecht" opgericht op de hoek van de Kasteel- en Tieltseststraat (Hulstedorp nummer 19). De herberg is in 1628 belast "met thinneprijsen aen de vrije gulde van de bosseniers".

Op de kaart uit het landboek van Bavikhove, opgemaakt in 1639 door Loys de Bersacque, wordt het omwalde kasteel Schiervelde, dat in de 17de eeuw eigendom is van de familie Van der Gracht en de aangetrouwde familie le Sage d'Hauteroche, voor het eerst afgebeeld. Weergave van een met bomen omzoomde dreef vertrekkende van het kasteel. Opgravingen in 1979-1980 bevestigen het uitzicht van het kasteel en omgeving op de gravure van de heerlijkheid Schiervelde ("Praetorium de Hulst") in Sanderus' "Flandria Illustrata" (1641). Als vermoedelijk bouwjaar van de hoeve op het neerhof wordt het jaar 1662 aangenomen, naar het gebeitelde jaartal op de haardmantel in het boerenhuis. In 1673 wordt het geheel omschreven als "Casteel, nederhof, bogaerden ende lochtijnghen" en heeft een oppervlakte van 3.820 roeden.

In 1718 wordt in de dorpskern op de hoek met de Vlietestraat (Hulstedorp nr. 20) herberg "De Keyzer" opgericht; de huidige bijgebouwen van deze herberg (thans genaamd "Oud Gemeentehuis") zijn gelegen aan de Kasteelstraat.

Op de kaart van 1750, opgemaakt door Frans De Bal, bevindt de dreef zich tussen het kasteel Schiervelde en de herberg "Sint-Hubrecht" op de hoek met de Tieltsestraat. Op de Tiendekaart van Hulste (circa 1760-1765) aangeduid als "dreve van het casteel naer de plaetse" en in 1673 als "dreve van 't Casteel naer (de) kercke" genoemd. Op de Kabinetskaart van de Oostenrijkse Nederlanden, opgenomen op initiatief van Graaf de Ferraris (1770-1778), wordt slechts bebouwing weergegeven dicht bij de dorpskern bebouwd.

De laatste afstammeling van de heren van Schiervelde en de aangetrouwde familie le Sage d'Hauteroche, juffrouw Maria Ludovika Lesage (° 1726), sterft in het kasteel in 1802. Na haar overlijden, wordt het kasteel gedurende jaren niet langer bewoond en raakt in verval. Het meervoudig omwalde kasteel met neerhof wordt weergegeven door Serafijn Vermote op een aquarel van 1813.

Op het primitief kadasterplan (circa 1830) zijn enkele percelen aan het begin van de straat bebouwd. Op de Atlas der Buurtwegen (1845) wordt de Kasteelstraat weergegeven als "Kasteeldreve" met als aanduiding "Chemin n° 30" en omschrijving "Sentier de la Place aux Limites de Bavichove".

In 1857 registreert het kadaster de afbraak van het vervallen kasteel "Schiervelde" en het dempen van de omwalling in opdracht van graaf Etienne Debaern uit Parijs. Meer in de dorpskern wordt tussen 1856-1859 de gemeentelijke jongensschool opgetrokken (nummers 9-11). Op het einde van de 19de en het begin van de 20ste eeuw, toename van de bebouwing langs de straat zie de kaarten van het Militair Cartografisch Instituut van circa 1885 en circa 1910. In de periode 1873-1899 is een bejaardentehuis van het Bureel van Weldadigheid gelegen aan de Kasteelstraat (nummers 23-27). In 1898-1899 wordt het bejaardentehuis herbouwd en uitgebaat door de zusters van de Heilige Familie uit Kortrijk. Het nieuwe tehuis bestaat uit een klooster met een mannen- en vrouwenafdeling. In 1907 wordt een stoommelkerij van de maatschappij "Sint-Pieters melkerij van Hulste" opgetrokken (nummer 45). In het begin van de 20ste eeuw is de Kasteelstraat een kiezelweg met graskanten of een gekasseide weg, zie oude prentkaarten. In 1926-1927 wordt een brandweerkorps opgericht in Hulste. De vier kazernes die Hulste in de loop van de jaren heeft gekend, zijn telkens gevestigd in de Kasteelstraat. In 1971 bouwt de gemeente een brandweerstation rechts van nummers 9-11 naar het ontwerp van en de uitvoering door architect J. A. Vanquathem uit Oostrozebeke. De nog bestaande brandweerkazerne is thans herbestemd tot een vooruitgeschoven post van de Civiele Bescherming (nummer 13).

In 1968 wordt de bouwvallig geworden gemeentelijke jongensschool verlaten en verhuist de school naar de Tieltsestraat. De oude schoolgebouwen aan de Kasteelstraat worden na de fusie met Harelbeke op 1 januari 1977 omgebouwd tot een sociaal-cultureel centrum.

In 1979-1980 vinden opgravingen plaats op de site van het in 1857 afgebroken kasteel van Schiervelde. De opgravingen brengen een baksteenbouw met een vierkante walmuur die aan elke kant voorzien was van een torentje aan het licht. De walmuur omsloot een hoger gelegen motte waarop het kasteel gebouwd was. Naast baksteen- en mortelresten, platte rechthoekige daktegels, kloostermoffen en geelwitte zandsteenblokken afkomstig van het kasteel, heeft men een cirkelvormige, gemetselde waterput en verscheidene artefacten teruggevonden. Uit de opgegraven artefacten en bouwmaterialen (walmuren en steenput) kan men afleiden dat het complex dateert uit de late middeleeuwen (14de-15de eeuw).

Vrij lange, geasfalteerde straat met in het verlengde de dreef naar het Goed "Schiervelde" (nummer 58). Centrumstraat met de aanwezigheid van onder meer het cultureel centrum en de openbare bibliotheek van Hulste (nummers 9-11). Dorpsstraat met aaneengesloten en halfvrijstaande bebouwing van (één à) twee bouwlagen, hoofdzakelijk daterend uit de 20ste eeuw doch uitzonderlijk opklimmend tot het einde van de 19de eeuw (nummers 23-27). Tussen nummers 12 en 20 bewaard volume van een eenlaagse dorpswoning met geïntegreerde berging en kleine lege beeldnis boven de voordeur, vermoedelijk daterend uit de 19de eeuw doch met recent aangepast schrijnwerk.