Rechte uitvalsweg vanaf de G. Gezellelaan en de Markt tot aan de Tieltstraat. Vanaf de tweede helft van de 19de eeuw worden door enkele notabelen herenhuizen met kasteelallure opgericht, wat de straat haar huidige naam bezorgt. Daarvóór "Steenweg van Thielt naar Ruysselede" genoemd. Het grootste deel van de straat is opgenomen binnen de uitbreiding van het beschermde dorpsgezicht, van Ruiselede, oorspronkelijk beschermd bij K.B. van 08/04/1981 en uitgebreid bij M.B. van 12/02/1999.

Op de gravure van Sanderus' Flandria Illustrata (1641-1644) afgebeeld, liggend tussen de velden, afgeboord met bomen en aan de zuidkant de loop van de Motebeek volgend. Binnen het blok, gevormd met de Markt, tekent zich een ronde motte met omwalling af. Deze staat niet meer afgebeeld op de Ferrariskaart (1770-1778). Ongeveer op die locatie, ter hoogte van huidige nummers 12-14 bevindt zich de hoeve "Schoutshof" met boomgaard palend aan de Kasteelstraat. Op de Atlas der Buurtwegen (1842) staat hier een achterin gelegen volume getekend.

Op het einde van de 19de eeuw wordt een tramlijn aangelegd die het station van Aalter verbindt met dat van Tielt. In 1886 wordt deze lijn, die ook Ruiselede aandoet, ingewijd. De tram komt langs de Tieltstraat Ruiselede binnen en volgt het tracé van deze straat tot aan de Kasteelstraat met station en wisselspoor voor het laden en lossen van goederen. In 1912 worden de sporen verplaatst om de dorpskern te ontlasten. Vanaf het kruispunt van de Tieltstraat met de Kapellestraat wordt een nieuwe bedding gelegd (de huidige Tramweg), die de tram naar het nieuwe tramstation brengt (zie Polenplein).

De straat blijft tot ruim voorbij de helft van de 19de eeuw onbebouwd. In de loop van de tweede helft van de 19de eeuw vestigen zich hier notabelen die in elkaars buurt riante herenhuizen temidden grote tuinen laten optrekken (zie nummers 7, 17, 24). Hierdoor krijgt de straat een residentieel karakter met 'laanallures', ook nog verder gezet in het eerste deel van de Tieltstraat .
Oudste bebouwing, daterend van circa 1840, is terug te vinden bij nummer 26. Voorts enkele al dan niet vrijstaande burgerhuizen onder meer zie nummer 22, opgericht volgens kadastergegevens circa 1900 door Carolus Franciscus Demuynck, eigenaar van de naastliggende woning zie nummer 24.

Overwegend woonstraat met ernaast een aantal andere functies. Vroeger aanwezigheid van meerdere herbergen ("De Koornbloem" met brouwerij, "Den Hert", "De Tramstatie"). Nu bestaat enkel nog het café nummer 4, oorspronkelijk een laag huis, zie bouwsporen in de zijgevel, en een restaurant (nummer 30).
Het postkantoor is in de loop van de 20ste eeuw op verschillende plaatsen langs de Kasteelstraat gevestigd. Eerst circa 1900 ter hoogte van nummer 5 (nu vervangen door bank- en appartementsgebouw). In 1935 bouwt de gemeente een postkantoor (nummer 12, nu zetel van een mutualiteit) en postmeestershuis (nummer 14), vanaf 1967 verhuist de post naar nummer 6-8. Nummer 15 is een vrijstaande woning uit de jaren 1950 met achterin gelegen vleesverwerkingsbedrijf.