Het schoolgebouw incorporeerde oorspronkelijk een gedeelte van het voormalige Capucijnenklooster, dat in de 17de eeuw werd opgericht op een braakliggend gedeelte van het Inghelandt. De kloosterlingen werden verjaagd in 1797, waarna de kloosterinboedel werd geveild en de gebouwen verkocht aan particulieren. In 1802 kocht de stad een gedeelte van het pand aan en in 1834 verschafte het onderdak aan het Stadscollege. Tien jaar later nam het Koninklijk Atheneum er intrek. De bewaarde infirmerie en de kerk van het vroegere klooster werden daarop verwerkt in een progressief groeiende nieuwbouw, waarvan de monumentale hoofdvleugel in 1865 werd opgetrokken naar het neoklassieke ontwerp van architect J. Gérard. De gevel was georiënteerd naar de redelijk recent aangelegde stadspromenade. In de loop der jaren werden vleugels toegevoegd, maar deze werden alle verwijderd in de jaren 1970, gelijktijdig sneuvelden ook de bewaarde restanten van het oude klooster. Tegenwoordig staat enkel nog het monumentale hoofdgebouw overeind.

in casu architectuurhistorische waarde:
Monumentaal hoofdgebouw met voorgevel van negentien traveeën en drie bouwlagen onder pannen schilddak. Gecementeerde baksteenbouw met schijnvoegen en kalkstenen details, gelijkvloerse verdieping met rondboogopeningen, verdiepingen met rechthoekige. Horizontaliserend lijstwerk, getemperd door verticaliserende hoek- en middenrisalieten van drie traveeën, links en rechts onder afgewolfde zadeldaken, centraal met een driehoekig fronton. Sober afgewerkte, bakstenen achtergevel.