Straat gelegen aan de oostelijke oever van de IJzer, vanaf de IJzerlaan tot de monding van de Handzamevaart in de IJzer. De naam refereert naar het versterkt kasteel dat in 1270-1299 ter hoogte van de monding van de vaart in de IJzer gebouwd werd. De bouw van dit kasteel valt samen met de versterking van de stad met aarden wallen en een verdedigingsgracht met vier klassieke middeleeuwse poorten, en kadert in de troebelen tussen graaf Gewijde van Dampierre en zijn leenheer, Filips de Schone, koning van Frankrijk. In 1402 is er sprake van een echte stenen burcht. Op de kaart van Jacob van Deventer (1550) is het kasteel aangeduid als een vierkant gebouw met hoektorens. Het kasteel beschikte over een dubbele omwalling, waarvan de buitenste omwalling de IJzer met de Handzamevaart verbond. Het kasteel werd in 1678 afgebroken. Tussen 1678 en 1919 was deze plaats onbebouwd (zie "Plan der stad Dixmude" van 1885).

De eigenlijke Kasteelstraat werd na de Eerste Wereldoorlog niet heraangelegd waardoor een straat langs de kade kon ontstaan. Aan de oostzijde van de Kasteelstraat, aaneengesloten bebouwing van burgerhuizen, heropgebouwd in de jaren 1920. Tevens recente appartementsbouw.