De Kasteelstraat is een lange, rechte straat in het Zuidkwartier, de Gillisplaats met de Amerikalei verbindend, over de ronde Lambermontplaats heen lopend. Daarbij heb je vanaf dit plein een goed zicht op de Waterpoort. De straat maakt deel uit van de oorspronkelijke verkavelingsstructuur van het Zuid, opgemaakt in 1875. De hoofdlijnen van dit plan zijn de rechte straten, vaak gebundeld rond pleinen. De Kasteelstraat maakt deel uit van de vier straten die op de Lambermontplaats uitkomen.

De straat is genoemd naar het Zuidkasteel dat onder het bewind van Alva (1567-1570) was gebouwd en dat werd geslecht in 1874-1876 om de aanleg van een nieuw stadsdeel ten zuiden van de stad mogelijk te maken. In de nieuwe wijk het Zuid, verwijzen straatnamen en gedenktekens naar deze woelige periode in de 16de eeuw.

De bebouwing in de Kasteelstraat bestaat uit burgerhuizen en meergezinswoningen van drie traveeën en twee tot vier bouwlagen hoog. Het gaat vooral om panden met een neoclassicistische lijstgevel, afgewisseld met begin-20ste-eeuwse huizen waarvoor de ontwerper een bakstenen, veelkleurige eclectische gevel koos. Opvallend is opnieuw het feit dat veel woningen per drie of per twee werden gebouwd. Dit principe van het identieke, eventueel spiegelende samenstel of juist van het ensemble van telkens licht verschillende gevels, is typisch voor het Zuid en bij uitbreiding ook van de eind-19de-eeuwse wijken rondom de stad.

Een voorbeeld van een neoclassicistisch pand is nummer 25, samen met het naastgelegen nummer 27 gebouwd als ensemble voor eigen rekening van aannemer Somers, die talrijke gronden bezat in de straat. Een andere investeerder, die zich concentreert op de Amerikalei en de omliggende straten, is J. De Pooter, die hier ook een aantal huizenrijen realiseerde.

Nummer 13 is een eenvoudige eclectische stadswoning met gele bakstenen gevel, gebouwd rond 1903 door aannemer Amedée Der Kinderen-Geens voor Horn. Nummer 3, is een voormalige paardenstal uit het einde van de 19de eeuw, wellicht aansluitend bij een woonhuis in de achterliggende Verschansingstraat. Het is een type gebouw, met eclectische bakstenen lijstgevel, dat op de nabijgelegen Vlaamsekaai en in de Verschansingstraat vaker voorkomt. Een bouwaanvraag uit 1922 laat zien dat op dat moment nog geen toegang was tot het gebouw vanuit de Kasteelstraat. Een zeldzaam voorbeeld van een pand met een art-nouveaugevel, in 1898 ontworpen door het bureau Emiel Van Averbeke en Willem Diehl, werd gesloopt.

De huizenrijen tussen de Kasteelstraat en de Gillisplaats zijn het beste bewaard. Naar de Amerikalei toe was de bebouwing meer onderhevig aan nieuwbouw en verbouwingen. Er werd veel aandacht besteed aan de hoekgebouwen, voornamelijk de fraaie panden met de prestigieuze Lambermontplaats. De zuidelijke hoek met de Edward Pecherstraat is eveneens het vermelden waard: de hoge neoclassicistische meergezinswoningen hebben Parijse allures, net als het verder op gelegen ensemble nrs. 12-18. Het bouwblok op de hoek van de Gillisplaats is dan weer een fraai eclectische voorbeeld.

De huizenrij wordt aan oneven zijde doorbroken door het monumentale poortgebouw van de achterliggende gemeenteschool (nummer 17), die grosso modo dezelfde toegang heeft in de Verschansingstraat.