In 1628 gebouwd aan het Sint-Jansveld als stedelijke residentie en veilig onderkomen binnen de stadswallen van Diest in tijden van onrust, vormt het voormalig refugiehuis van de Oratorianen van Scherpenheuvel -een orde gesticht in 1624 ter bediening van de basiliek van Scherpenheuvel- een belangrijke getuige van de religieuze geschiedenis van Diest. Naast de ruïne van de Sint-Janskerk is het refugiehuis bovendien één van de oudste gebouwen op het voormalige Nedermolenveld waardoor het een belangrijke documentaire waarde heeft, wat de morfologie van de bebouwde ruimte rond het Sint-Jansveld betreft.

in casu architectuurhistorische waarde:
Markant complex opgetrokken in zogenaamde traditionele bak- en zandsteenstijl en bestaand uit een oorspronkelijk éénlagig vierkant hoofdvolume onder een pannen tentdak, met aan de oostzijde een vierkante toegangstoren van drie bouwlagen onder een overhoeks ingesnoerde spits -oorspronkelijk voorzien van een peerbekroning-, en aan de zuidzijde een octogonale toren met lantaarn.
Kenmerkend zijn de kruisvensters in het hoofdvolume, de 19de-eeuwse rondboogvensters in de octogonale toren, alle voorzien van decoratief schrijnwerk met gedeeltelijk gekleurd glas-in-lood, het 1628 gedateerde barokdeurtje in natuurstenen omlijsting en de met voluten en gebogen frontons versierde barokvensters in de vierkante toren.
Typologisch merkwaardig geheel met landhuis-allures door de gedeeltelijk vrijstaande inplanting in de ruime tuin en het karakteristiek silhouet van het hoofdvolume, de vierkante toegangstoren en de octogonale gebedstoren, die tevens van het complex een sterk beeldbepalend geheel maken voor de omgeving.