Straat met een licht gebogen tracé vanaf de Guido Gezellelaan tot aan de Tinnenburgstraat/ Ruddervoordestraat.

Naamgeving naar de oude verbinding met het kasteel van Lichtervelde. Volgens K. De Flou wordt de naam voor het eerst vermeld in 1660 als "Casteelstraete". Deze weg startte in het verlengde van de verdwenen Ganzestraat, en loopt via de Zwevezelestraat en de Parkstraat – deze straten staan tot de late 19de eeuw ook nog bekend als Kasteelstraat - verder naar het zuiden van de provincie. Op mutatieschetsen uit het eerste kwart van de 20ste eeuw heet de straat "steenweg naar Ruddervoorde".

Het volledige traject van de vroegere, uitgebreidere Kasteelstraat is als dusdanig aangeduid op de Ferrariskaart (1770-1778), met quasi geen aanduiding van bebouwing. De lintbebouwing op vandaag dateert grotendeels vanaf het eerste kwart van de 20ste eeuw, onder meer een aantal markerende diephuizen (zie infra, Kasteelstraat nummer 2, nummers 6-8-10, nummer 11). Nummers 15-21: aaneengesloten roodbakstenen rijhuizen uit het eerste kwart van de 20ste eeuw, verspringende rooilijn, muuropeningen in een gecementeerde en beschilderde geriemde omlijsting. Nummer 25: in voortuin gelegen roodbakstenen pand met banden van gele sierbaksteen. Tevens enkele markerende panden uit de jaren 1930: onder meer Kasteelstraat nummer 4, een vrijstaand roodbakstenen huis van twee bouwlagen onder pannen schilddaken, en Kasteelstraat zonder nummer (vermoedelijk nummer 30), herberg zogenaamd "HEIDELBERG" zie opschrift in typische belettering boven de luifel.