Het kasteel van de heren van Hoogstraten, heden Penitentiair Schoolcentrum is beschermd als monument omwille van het algemeen belang gevormd door de:
in casu architectuurhistorische waarde: Kasteeldomein met legendarisch ontstaan in de 9de eeuw als een houten verdedigingsburcht, versteend op het einde van de 12de eeuw en later fungerend als bastion in het markgraafschap Antwerpen. Tot op het einde van het ancien régime het kasteel van achtereenvolgens het Graafschap (vanaf 1518) en het Hertogdom (vanaf 1740) Hoogstraten.
19de- en vroeg 20ste-eeuwse uitbreidingen en aanpassingen van het kasteeldomein getuigen van de evolutie in de sociale wetgevingen ter bestrijding van het pauperisme, ontstaan in de Franse tijd: Volgens het Keizerlijk decreet van 5 juli 1808 in 1810 ingericht als "Bedelaarsgesticht van het Departement van de Twee Neten"; in navolging van de wet van 1866 op de beteugeling der bedelarij en landloperij en in het kader van de ontginningspolitiek van de heide in 1880 omgedoopt in een "Weldadigheidslandbouwkolonie"; naar aanleiding van de nieuwe wet Lejeune van 1891 hervormd tot "Toevluchtshuis voor zwakke en zieke mannen".
Architectuur- en interieurhistorisch waardevol als gebouwencomplex met restanten van het 15de-eeuwse kasteel, 16de, 17de en 18de-eeuwse kasteelvleugels, aanpassingen uit de 19de eeuw en bewaarde fraaie interieurelementen uit de late Middeleeuwen, de 18de eeuw en de late 19de eeuw.
Bewaarde gracht en funderingen van het 15de-eeuwse, gotische slot, gebouwd door Jan IV van Kuik. Het bestaande poortgebouw met aanpalende vleugels en hoektorens, in kern daterend van 1525-1540 en opgericht door Rombout II Keldermans en Domien de Waghemakere, tijdens de tweede helft van de 18de eeuw heringericht, in de 19de eeuw uitgebreid en aangepast in neo-Vlaamserenaissance-stijl.
In de voormalige wapenzaal neogotische kapelinrichting met laatbarok kerkmeubilair afkomstig van de oude slotkapel. Zuidvleugel, tijdens de tweede helft van de 18de eeuw ingericht als woning voor de familie Salm-Salm met vrij gaaf bewaarde 18de-eeuwse planindeling, interieurelementen en -afwerking.
De binnenplaats wordt gekarakteriseerd door de zuid-oostvleugel in classicistische stijl, opgericht in 1782, waarin de initiële gotische slotkapel is vervat, op het einde van de 18de eeuw ingericht als salon met bewaarde 18de-eeuwse interieurelementen.
16de-eeuwse vleugels in traditionele bak- en zandsteenstijl, gedeeltelijk aangepast in de 19de eeuw. In de salons intact bewaarde fraaie rococoschouwmantels.
Cellulair gedeelte, opgetrokken in 1810 in functie van de nieuwe bestemming als kolonie, harmonisch geïntegreerd in de historische architectuur met de buitengevels in neotraditionele bak- en zandsteenstijl en de gevels aan de binnenplaats in een classicerende stijl, geïnspireerd op het "Hotel des Invalides" in Parijs.
Concentrisch aangelegde bij- en dienstgebouwen daterend van de 19de en het begin van de 20ste eeuw in een een sobere, functionele en soliede bouwstijl, opgetrokken in streekeigen materialen, representatief voor de kolonie-architectuur en - aanleg.