Straat ten oosten van het centrum van Desselgem. De straat vertrekt van de Nieuwstraat en loopt in zuidoostelijke richting naar Desselgem-Dries. De straatnaam verwijst naar het verdwenen "kasteel" in het Laakbos, dat tot in de 15de eeuw gelegen was op de hoek van de huidige Meierie en Desselgem-Dries (zie Meierie).

De Kasteelstraat is één van de oudste straten van Desselgem. Ongeveer halverwege de straat ligt in de vroege middeleeuwen het Laakbos, dat eigendom is van de Meierie. In dat bos bevindt zich de woonst van de meiers (zie Meierie), uit een castellum of kasteel op een mote omgeven door een halfgesloten wal/watergracht. Het "Casteelstraetken" wordt volgens De Flou voor het eerst vermeld in 1570 en de "Kasteelstraet" in 1690. Op de tiendekaart van Desselgem, opgemaakt door Pieter en Lowijs de Bersacques in 1620, loopt "de Casteel Strate" naar de Dries. De figuratieve kaart van de rentegronden onder de Sint-Pietersheerlijkheid, opgemaakt door pastoor Gudwaldus van der Mariën in 1675, geeft een hoeve weer op de hoek met de huidige Desselgem-Dries (nummer 79) en een hoeve halverwege de weg (nummer 28). Op de figuratieve kaart van de Sint-Pietersheerlijkheid, opgemaakt door Joseph de Coster in 1764, wordt langs "de casteel straete vanden driesch naer cruijs straete" nog een derde hoeve weergegeven (nummers 27-29). De bebouwing op de hoek met de huidige Nieuwstraat wordt in 1765 vermeld als herberg "Sint-Hubrecht" (Nieuwstraat nummer 132). Weergave van een vijftal verspreid gelegen hoeves op het primitief kadasterplan (circa 1834). Op de Atlas der Buurtwegen (1844) wordt de straat weergegeven als "Kasteelstraet" en "Kwaedestraet" met als aanduiding "Chemin n° 5" en omschrijving "Chemin du hameau Straete à Deerlyck". De Kasteelstraat bevindt zich in 1856 in zeer slechte staat, zodat de gemeenteraad beslist de straat op te hogen met "goede zavelaarde". De kaart van het Militair Cartografisch Instituut (1911) geeft nog steeds slechts enkele verspreid gelegen hoeves weer. Sterkere toename van de bebouwing in de loop van de 20ste eeuw.

Straat met gebogen verloop en wegdek van betonplaten. Verspreid langs de straat zijn enkele hoevesites opklimmend tot de 17de eeuw bewaard gebleven, waarvan de huidige gebouwen dateren uit de 17de/18de tot de 20ste eeuw (nummers 27-29, nummer 28, nummer 79). Het straatbeeld wordt echter voornamelijk gekenmerkt door 20ste-eeuwse woningbouw (nummer 65). Nummers 35-45, geheel van zes gekoppelde woningen op de hoek met de Leopold III-laan, gebouwd in 1950 naar de ontwerpplannen van architecten Louis Kindt en Jacques Bekaert in opdracht van de huisvestingsmaatschappij Mijn Huis (bouwaanvraag van 1949). De woningen maken deel uit van een nieuwe woonwijk van 30 woningen per zes gegroepeerd aan de Nieuwstraat, Kasteelstraat en Leopold III-laan. De woningen aan de Kasteelstraat zijn bestemd voor grotere gezinnen en beschikken over vijf slaapkamers. In 1951 zijn alle woningen in gebruik genomen. Voorts ook woonhuis met hedendaagse afwerking. Nummer 48, huidig uitzicht is het resultaat van het in 2004 verbouwen en sterk uitbreiden van een woning van 1974: vrijstaande villa met horizontaliserend karakter, gerealiseerd door het langgerekte volume, de grotendeels platte bedaking en de bandramen op de verdieping. Overkragende en met hout afgewerkte bovenverdieping, aan de straatkant rustend op pilotis. Toegang in de straatgevel afgeschermd door ijzeren grilles.