De Kasteelstraat is een lange, rechte straat in het Zuidkwartier, de Gillisplaats met de Amerikalei verbindend, over de ronde Lambermontplaats heen lopend. Daarbij heb je vanaf dit plein een goed zicht op de Waterpoort. De straat maakt deel uit van de oorspronkelijke verkavelingsstructuur van het Zuid, opgemaakt in 1875. De hoofdlijnen van dit plan zijn de rechte straten, vaak gebundeld rond pleinen. De Kasteelstraat maakt deel uit van de vier straten die op de Lambermontplaats uitkomen.

De straat is genoemd naar het Zuidkasteel dat onder het bewind van Alva (1567-1570) was gebouwd en dat werd geslecht in 1874-1876 om de aanleg van een nieuw stadsdeel ten zuiden van de stad mogelijk te maken. In de nieuwe wijk het Zuid, verwijzen straatnamen en gedenktekens naar deze woelige periode in de 16de eeuw.

De bebouwing in de Kasteelstraat bestaat uit burgerhuizen en meergezinswoningen van drie traveeën en twee tot vier bouwlagen hoog. Het gaat vooral om panden met een neoclassicistische lijstgevel, afgewisseld met begin-20ste-eeuwse huizen waarvoor de ontwerper een bakstenen, veelkleurige eclectische gevel koos. Opvallend is opnieuw het feit dat veel woningen per drie of per twee werden gebouwd. Dit principe van het identieke, eventueel spiegelende samenstel of juist van het ensemble van telkens licht verschillende gevels, is typisch voor het Zuid en bij uitbreiding ook van de eind-19de-eeuwse wijken rondom de stad.

Een voorbeeld van een neoclassicistisch pand is nummer 25, samen met het naastgelegen nummer 27 gebouwd als ensemble voor eigen rekening van aannemer Somers, die talrijke gronden bezat in de straat. Een andere investeerder, die zich concentreert op de Amerikalei en de omliggende straten, is J. De Pooter, die hier ook een aantal huizenrijen realiseerde.

Nummer 13 is een eenvoudige eclectische stadswoning met gele bakstenen gevel, gebouwd rond 1903 door aannemer Amedée Der Kinderen-Geens voor Horn. Nummer 3, is een voormalige paardenstal uit het einde van de 19de eeuw, wellicht aansluitend bij een woonhuis in de achterliggende Verschansingstraat. Het is een type gebouw, met eclectische bakstenen lijstgevel, dat op de nabijgelegen Vlaamsekaai en in de Verschansingstraat vaker voorkomt. Een bouwaanvraag uit 1922 laat zien dat op dat moment nog geen toegang was tot het gebouw vanuit de Kasteelstraat. Een zeldzaam voorbeeld van een pand met een art-nouveaugevel, in 1898 ontworpen door het bureau Emiel Van Averbeke en Willem Diehl, werd gesloopt.

De huizenrijen tussen de Kasteelstraat en de Gillisplaats zijn het beste bewaard. Naar de Amerikalei toe was de bebouwing meer onderhevig aan nieuwbouw en verbouwingen. Er werd veel aandacht besteed aan de hoekgebouwen, voornamelijk de fraaie panden met de prestigieuze Lambermontplaats. De zuidelijke hoek met de Edward Pecherstraat is eveneens het vermelden waard: de hoge neoclassicistische meergezinswoningen hebben Parijse allures, net als het verder op gelegen ensemble nrs. 12-18. Het bouwblok op de hoek van de Gillisplaats is dan weer een fraai eclectische voorbeeld.

De huizenrij wordt aan oneven zijde doorbroken door het monumentale poortgebouw van de achterliggende gemeenteschool (nummer 17), die grosso modo dezelfde toegang heeft in de Verschansingstraat.

Gelegen in het Zuidkwartier, tussen Amerikalei en Gillisplaats. Genoemd naar het in 1874-76 gesloopte Zuidkasteel dat onder het bewind van Alva (1567-1570) was gebouwd.

De zuidzijde, namelijk de hoek met de Edward Pécherstraat en de nummers 4-6, 12-14 en 16-18, vertoont veel gelijkenis met de Parijse appartementsbouw van begin twintigste eeuw: bepleisterde lijstgevels van vier à vijf bouwlagen met veelvuldig gebruik van ijzeren hekken en eigen vormgeving in de ornamentiek: cartouchevormige sleutels, chutes en krulwerk, afgewisseld met strakke kordons en panelen.

De iets lagere tussenliggende en aansluitende huizen zijn van het gebruikelijke genre: ofwel bepleisterd en geordonneerd volgens neoclassicistische normen met imitatievoegen, kordons, lijst- en paneelwerk, risalieten en balkons (nummers 10, 24, 26, 28) ofwel van het gekleurde baksteentype met speklagen, mozaïeken, versierde boogvelden en segmentboogvensters (nummers 8, 20, 22).

De nummers 24, 26 en 28 zijn van een grotere landschappelijke waarde wegens de nabijheid van de Lambermontplaats.

Aan de overzijde, monumentale poorttravee van de school (nummer 17) met volledig gesculpteerd natuurstenen parement (voor de beschrijving zie straatnota Verschansingstraat). Links en rechts waardige burgerhuizen uit eind negentiende en begin twintigste eeuw (het nummer 7 gedateerd 1904). Voor de rest van de straat, zowel noordelijk als zuidelijk, is de homogeniteit van de vroegere bebouwing veelal verstoord door nieuwbouw of banale gevelaanpassingen.

Opvallend is de paarsgewijze bebouwing van de nummers 21-23, 33-35, 37-39, 20-22, 36-38, 40-42, 48-50 (de nummers 33-35 en 36-38 identiek).

Gemoderniseerde winkelpuien tegen de Amerikalei aan (bewaarde functie); slechts één originele pui uit het laatste kwart van de negentiende eeuw, namelijk nummer 59.