De abdij zou een refugium in deze stad bezeten hebben sinds begin 15de eeuw. In de eerste jaren van de 16de eeuw liet abt Van der Schaeft er belangrijke werken uitvoeren: oprichten van een kleine kapel met houten overkluizing en voorzien van een rijk versierd hoogaltaar, ingewijd in 1506; opbouwen van een nieuwe vleugel (naar ontwerp van Jan van Geel(?), voltooid in 1519) en aanpassen en verfraaien der oudere gedeelten. Uitbreiding van het domein tijdens de 17de eeuw. In 1797 werd het refugium verkocht en van toen af betrokken door particulieren.

Het ruime complex uit de 16de eeuw (met lichte wijzigingen uit latere tijden) omvat een trapgevel, een poort met bijbouwen, een langsgevel met aanpalende resten van de kapel en een polygonaal traptorentje. Bak- en zandsteenbouw met verwerking van ijzerzandsteen, voornamelijk in de trapgevel, voor de plint en afwisselend met zandsteen in de posten der kruisvensters en de korfboog van de inrijpoort. Belangwekkende trapgevel met hoog schouderstuk, (zes treden en topstuk) horizontaal geleed door middel van twee gordellijsten, een ter hoogte van de onderdorpels der tweede verdieping en een boven de latei van het hoger gelegen middenvenster (de uiteinden vormen de dekplaat van de eerste treden). Poortgebouw verfraaid met een laatgotische heiligennis met zandstenen omlijsting. Koorkap van de kapel gesloopt circa 1960. Recente bijbouwen in neostijl.