Straat vanaf het kruispunt met de Regentiestraat - Goethalsplaats - Kerkstraat met westwaarts verloop tot aan de rotonde met de Veldstraat - Baronielaan - Astridlaan. Onderdeel van de wegenlus voor doorgaand verkeer omheen het dorpscentrum, gevormd met de Baronielaan, Regentiestraat, Kerkstraat, Hoogstraat, Oostrozebekestraat, Onze-Lieve-Vrouwstraat, Vuilputstraat, Barnumstraat (deels) en Astridlaan. Benaming naar het kasteel Ter Borcht met domein, dat gelegen is aan de zuidwestzijde van de Baronielaan, thans herbestemd tot Vrij Instituut voor Lichamelijke Opvoeding met Sport- en Recreatiecentrum (zie Baronielaan nummers 27-29).

Gaat samen met de Baronielaan terug op de door bomen omzoomde "Dreve van 't casteel naer de plaetse", weergegeven op een kaart bij het landboek van 1654-1656, met enkel bebouwing aan de noordoostzijde van de straat. In de loop van de 18de eeuw neemt de - veelal nog landelijke - bebouwing in de straat toe, weergegeven op de Ferrariskaart (1770-1778).

In 1818 wordt aan de westelijke hoek met de huidige Abeeldreef door de Meulebeekse koopman Jan Frans Goethals een bakstenen rosoliemolen opgericht. In 1850 bouwt Karel Goethals er een houten graan- en oliewindmolen bovenop, gekend als de "Kasteelstraatmolen", "Goethals molen" of "Coussées molen", naar de gekende molenmaker Jules Coussée die deze in 1880 samen met het nabijgelegen woonhuis koopt en in hetzelfde jaar laat afbreken. Erna wordt de rosmolen verbouwd tot molenmakersatelier, het woonhuis aangepast (zie nummers 58, 60-62) en het voormalige molenerf bij de achterliggende houtzagerij van Willy Carpentier wordt gevoegd (zie Abeeldreef nummer 15).

Op de Atlas der Buurtwegen (1846) vermeld als onderdeel van de "Kalsyde van Ingelmunster" of de "Weg van Ingelmunster naer Thielt" met toegenomen rijbebouwing.

In de 19de en 20ste eeuw worden in de straat zeer veel herbergen uitgebaat. Enkele gekende 19de-eeuwse herbergen zijn onder meer "Het Canon" later gekend als "Den Appel", "De Broederliefde", "De Kat", "Concorde", "In Cuba" later gekend als "In den IJzer" en erna ingericht als "Garage St. Amand", "De Drij Statien", "Den Gouden Appel" later gekend als "In den Vertinder", "In Groeningen", "Het Hof van Brabant", "Het Katje/De Kat", "In Moorseele" later gekend als "'t Kelderke", "De Stad Kortrijk" later gekend als "De Mooie Molen" en "Montgommery", "Gasthof De Lanteern" later gekend als "Clicque", "De Leeuw van Vlaanderen", "Het Molentje", "Het Nieuw Lam", "De Nieuwe Molen", "In Normandie", "De Pauw", "Prins Frederik", "Sint-Joseph" later gekend als "In Rozendaele", "De Slachterij", "In Vlissingen" en "De Vrede"; 20ste-eeuwse herbergen zijn onder meer "De Beenhouwerij", "De Steenmolen", "De Stad Meenen", "'t Brouwershof" later gekend als "'t Onderkomen" en "Zozo-Lala", "Het Burger Welzijn", "Cambrinus", "In de Fanfare", "Heidelberg", "'t Nieuw Kelderke" en "Het Schuttershof". De meeste uitbatingen zijn in de loop der tijd stopgezet en al dan niet gesloopt.
In de tweede helft van de 19de eeuw - eerste helft van de 20ste eeuw zijn in de straat de borstelfabrieken "Blaton" (zie nummer 15) en "Pauwels" (zie nummer 63), de stoelmakerij "Sint-Jozef" en de brouwerij "Vanderoughstraete" (zie nummers 60-62) gevestigd; van al deze bedrijven is de productie intussen stopgezet. In 1929 sticht Henri Saelens samen met zijn kinderen de weverij "Saelens & Co", achtereenvolgens gekend als "Vermaete-Saelens", "P.V.B.A. Van den Neste & Vermaete" en "Versatex". Deze weverij van katoen, linnen, geitenhaar en synthetische vezels, uitgerust met 22 getouwen en een tewerkstelling van zes personeelsleden, wordt in 1967 stilgelegd (zie nummer 31). In de eerste helft van de 20ste eeuw zijn er in de straat ook twee thuiswevers gevestigd.

In een studie van 1941 met betrekking tot de vlasvezelbereidingsnijverheid in Vlaanderen wordt in de straat de vlasverwerker en -handelaar Achiel Craeymeersch geregistreerd.

Tijdens de Tweede Wereldoorlog worden enkele huizen in de Kasteelstraat beschadigd of vernield. Bij bombardementen tijdens de bevrijdingsoperatie in 1944 wordt een huizenblok aan de Goethalsplaats met de grond gelijk gemaakt, waardoor de nauwe doorgang naar de Kasteelstraat verdwijnt.
In het begin van de jaren 2000 wordt café "'t Kelderke" omgevormd tot Turkse moskee met gebeds- en lesruimte en jeugdontmoetingscentrum "Club Ayasofia" (zie nummer 25).

Voornamelijk woon- en handelsfunctie. Basisbebouwing bestaande uit rijbebouwing van laat- of neoclassicistische woonhuizen van veelal twee bouwlagen onder pannen zadeldaken (nok evenwijdig met straat). Enkele eenvoudige woonhuizen met gecementeerd en/of geschilderd baksteenparement en rechthoekige of segmentbogige openingen, onder meer nummer 5. Nummer 29 met deels door naastgelegen nieuwbouw (nummer 27) ingenomen linkertravee, muurankers, segmentboogstrekken, onder meer boven benedenvenster onder I-profiel met rozetten. Nummer 46 met recenter ingebrachte winkelpui en bovenvensters met diamantkopsluitstenen en gestileerd rozetmotief op de aanzetstenen. Nummer 58, restant van voormalig molenaarshuis bij "Goethals' molen", meermaals aangepast in de tweede helft van de 19de eeuw en na opsplitsing circa 1894 herbouwd in 1929; dubbelhuis met gecementeerde lijstgevel voorzien van imitatiebanden en blinde panelen onder bovenvensters. Nummer 71, woonhuis met voorheen achterliggend beluikje van drie huisjes, weergegeven op het primitief kadasterplan (circa 1830) met als toenmalige eigenaars twee "schoolvrouwen" uit Meulebeke; de huisjes zijn in de loop der tijd afgebroken. Thans gerenoveerd dubbelhuis met in linkertravee doorgang tot voormalig beluikje. Lijstgevel met plint in imitatiebreuksteen, getoogde openingen, bovenvensters (onder meer blinde) in geriemde omlijsting op oren met decoratieve sluitsteen, bewaarde luikduimen en recenter ingebrachte poort rechts.
Restanten van eind 19de- en begin 20ste-eeuwse eenlaagsbebouwing, veelal verbouwde of gerenoveerde voormalige herbergen, onder meer nummers 23, 40. Enkele met gecementeerd en geschilderd parement voorzien van imitatiebanden of schijnvoegwerk, onder meer nummers 25, 30. Nummer 2 met licht achteruitspringende rooilijn en haakse achterbouw. Dubbelhuis onder mansardedak (mechanische pannen) met houten dakkapellen onder gebogen frontonbekroning, geprofileerde houten kroonlijst en rechthoekige muuropeningen onder druiplijst met uitgewerkte sluitsteen; vergroot venster rechts.
Tevens aanvullende interbellumbebouwing. Nummer 3, resterend woonhuis van oorspronkelijk twee panden gebouwd in 1935 voor de weduwe en de kinderen van kleermaker Petrus Defour; enkelhuis met geelbruinsierstenen parement en geglazuurde, vierkante betegeling voor plint (bruin), omlijstingen of liseenmotief (groen), tweezijdige bovenerker en deurrisaliet doorgetrokken tot boven de gootlijst. Nummer 28, breedhuis met lijstgevel in rode siersteen, natuurstenen plint en doorlopende onderdorpels, driezijdige bovenerker met liseenmotief, rechthoekige muuropeningen onder lateien (schuiframen) en deels beglaasde deur met rechthoekig bovenlicht. Nummer 36 met roodbakstenen lijstgevel verlevendigd door witbakstenen banden. Nummer 47, enkelhuis daterend van 1927 met roodbakstenen lijstgevel onder overhoekse muizentandfries, doorlopende spaarvelden, natuurstenen plint en aanzet- en sluitstenen van segmentboogstrekken. Nummers 72-74-76, eenheidsbebouwing van woonhuizen in repeterend schema gebouwd in 1936. Enkelhuizen van telkens twee traveeën met lichtbruine bakstenen lijstgevels, roodbakstenen deuromlijstingen en bovenlijsten van vensters, geglazuurde betegelde onderdorpels en benedenvensters met (deels bewaarde) schuiframen; deur met beglazing en ijzeren hekjes bij nummer 74.

Tevens woonhuizen met oudere 19de-eeuwse kern, eind jaren 1940 - begin jaren 1950 aangepast of herbouwd na oorlogsschade in typerende wederopbouwstijl gekenmerkt door roodbakstenen lijst- of puntgevels, natuurstenen of similiplint, dorpels, deur- en vensteromlijstingen en gevelstenen en gestileerde balkonleuningen, onder meer nummers 14, 26, 36. Nummer 8, gesigneerd in plint "M. LAMBRECHT/ ARCHITECT/ MEULEBEKE", met dakvenster oplopend in grote puntgevel waarin gekoppelde rondbogige zoldervenstertjes en beglaasde rondbogige gevelkapel met Onze-Lieve-Vrouwebeeldje. Nummer 22, in oorsprong laatclassicistisch breedhuis waarbij in 1898 de toenmalige eigenaar, handelaar Adolf Warnez, een achterliggende kapel laat bouwen (later afgebroken); de woning wordt in 1953 herbouwd. Dubbelhuis onder zadeldak (zwartgeglazuurde mechanische pannen) met breed overkragende kroonlijst op platte consoles en parement met muuropeningen in licht verdiepte spaarvelden. Nummer 34/ Abeeldreef, hoekpand gedeeltelijk herbouwd in 1951 door gareelmaker André Fiens, met afgeschuinde hoektravee waarin deur tussen oplopende afgeronde pilasters. Nummer 63, woonhuis herbouwd in 1946 voor de Meulebeekse borstelmaker Remi Pauwels, die in de tuin een borstelfabriek opricht. Breedhuis met centraal vensterrisaliet oplopend in dakvenster met puntgevel op licht uikragende schouderstukken en geïncorporeerde autobergplaats, gesigneerd in plint "ALBERT CROP/ ARCHITECT/ MEULEBEKE". Dezelfde bouwheer laat in 1954 tevens nummer 64 bouwen, een breedhuis met geelbruinsierstenen lijstgevel, licht uitkragende bovenerker oplopend in dakvenster onder puntgevel met donker bekleed gevelveld, driezijdige erker boven geïncorporeerde autobergplaats en beglaasde rondboogdeur met gestileerd ijzeren hekwerk. Nummer 80, breedhuis met licht uitkragende brede bovenerker, deur onder rechte luifel met bovenlicht en geïncorporeerde autobergplaats.

Recent vervangende nieuwbouw tot drie bouwlagen na sloop van onder meer oude herbergen en een 19de-eeuws burgerhuis gebouwd door de familie Wolfcarius en later bewoond door de brouwersfamilie Goethals.

Achter de bebouwing aan de zuidzijde van de Kasteelstraat zijn de Kerkemeersen gelegen, een onbebouwd gebied van circa 3 ha., dat bestaat uit laaggelegen natte beekvalleigronden met verveend kleiig materiaal als bovengrond (plaatselijk tot 1,5 meter dik) en een zandige ondergrond met wortels van een vroeger moerasbos. (zie Kerkmeersstraat).