Zogenaamd "Geeraard de Duivelsteen", voormalig romaans steen uit de 13de eeuw, zogenaamd naar Ridder Gheeraert van Ghent, bijgenaamd de Duivel, die het steen bewoonde in de tweede helft van de 13de eeuw. Sinds de 14de eeuw eigendom van de stad en voor talrijke doeleinden gebruikt: wapenarsenaal, school der Hiëronymieten, Seminarie, krankzinnigengesticht, tucht- en weeshuis, brandweerkazerne. Einde 19de eeuw werd het door het Rijk aangekocht, gerestaureerd tussen 1890 en 1902 onder leiding van ingenieur A. Verhaegen en ingericht als Rijksarchief. Voor dit doel werd ten noordwesten een nieuwe vleugel, in een gelijkaardige stijl bijgebouwd. Van het oorspronkelijke steen bleef in de 19de eeuw enkel de zeer vervallen oostelijke vleugel langs de Nederschelde met donjon bewaard.

Het gebouw, opgetrokken uit Doornikse kalksteen, vertoonde nog sporen van rechthoekige benedenvensters, gekoppelde doch sterk verbouwde spitsboogvormige bovenvensters en rechthoekige muuropeningen onder het zadeldak, bewaarde ronde hoektorentjes zonder spitsen en verlaagd donjon met rechthoekige muuropeningen onder eenzelfde zijdelings afgesnuit dak.

In zijn huidige sterk gerestaureerde vorm heeft het gebouw de volgende plattegrond: onregelmatig trapezium met ten zuiden een vierkante donjon.

Zeer hard gerestaureerde oostelijke vleugel (langs water) afgelijnd met, bij de restauratie toegevoegde kantelenrij met schietgaten, onder zadeldak (leien) met dakkapelletjes, op de hoeken geflankeerd door ronde traptorens met vernieuwd kegeldak (leien). Afgeschuinde onderbouw met zes rechthoekige getraliede muuropeningen en horizontaal belijnde bovenverdieping met waterlijsten, sterk geritmeerd door respectievelijk zes en vijf gekoppelde spitsbogen met strenge archivolten, halfzuiltjes en ingeschreven oculus en gekoppelde rondboogvensters met glas in lood op de tweede bouwlagen; kleine steekboognissen met gelijkaardige vensters op de bovenste verdieping; bredere penant tussen de zesde en zevende travee hoger oplopend in een schouw.

Ten zuiden gekanteelde vierkante donjon, gerestaureerd naar een plan van 1343 in Atlas Goetghebuer (confer Verhaegen), met vijf geledingen aangegeven door omlopende waterlijsten, onder vernieuwd steil schilddak (leien) met dakkapellen. Bij gebrek aan sporen, vrij fantaisistische en hard gerestaureerde muuropeningen met rechthoekige benedenvensters en gekoppelde rondboogvensters onder een spitsboogvormige archivolt of ontlastingsboog op de bovenverdieping.

Zijgevel (Limburgstraat) met toegevoegde steekboogdeur gevat in spitsboog met archivolten op driekwartzuiltjes, op het huidige straatniveau (tweede bouwlagen) opgehoogd met de aanleg van de nieuwe brug en de Limburgstraat. Gelijkaardige vensters in de bovenste geleding en in de Geeraard de Duivelstraat.

Bij de restauratie volledig nieuw gebouwde westelijke vleugel boven een behouden overwelfde begane grond, in een voor die tijd typisch harde stijl. Gekanteelde gevel van zes traveeën met vier bouwlagen en afzonderlijk zadeldak (leien) met dakkapelletjes; horizontaal belijnd door waterlijsten en gemarkeerd door twee overkragende torentjes onder kegeldak; gelijkaardige vensters in spits- of steekboogvormige nissen.

Ten noordwesten volledig nieuw administratief complex, gebouwd in 1904 naar ontwerp van A. Verhaegen, eveneens opgetrokken uit Doornikse steen in een aangepaste stijl. Omvattende: het huidige toegangsgebouw met twee bouwlagen in de Geeraard de Duivelstraat, een aanleunend gebouw met drie bouwlagen uitziend op het tuintje en een galerij op de tweede bouwlaag als verbinding tussen de nieuwe gebouwen en het oude steen.

Van het interieur is enkel de overwelfde begane grond (foutief crypte genoemd) van de oostelijke en westelijke vleugel oorspronkelijk uit de 13de eeuw, doch ook grondig gerestaureerd in 1891. Drie rijen van telkens vijf zware ronde zuilen met geprofileerde sokkel en bladkapiteel verdelen de ruimte in vier beuken van zes traveeën overkluisd met kruisribgewelf van Doornikse steen en gewelfkappen in breuksteen.