Het pand genaamd het Hoge huis is beschermd als monument.

De Koninklijke Commissie voor Monumenten en Landschappen (KCML) bracht een advies uit waarbij de historische waarde van het pand als volgt werd gemotiveerd: voormalige 12de-13de-eeuwse afhankelijkheid van de Sint-Baafsabdij, in de 16de eeuw als onderdeel in de citadel van Karel V opgenomen. In kern 13de-eeuws gebouw, opgetrokken in Doornikse steen, in de 16de eeuw verbouwd en op het einde van de 18de eeuw opgericht als woning voor de gouverneur van de vesting en aldus getransformeerd tot een 18de-eeuwse architectuur met Toscaanse pijlers en driezijdig fronton. De motivering van de artistieke waarde klinkt als volgt: van de nog bewaarde diverse interieurelementen zoals een romaanse overwelfde kelder, 16de-eeuwse schouwen en een 18de-eeuwse trap.