In 1746-1761 kwam onder impuls van kardinaal d'Alsace (tevens bouwer van het aartsbisschoppelijk paleis op de Wollemarkt), een gedeelte van het huidige complex tot stand: een kapel met vier vleugels van drie bouwlagen, rond een vierkante, monumentaal aangelegde, binnenplaats. De huidige kerngebouwen die in dezelfde stijl opgetrokken zijn als het aartsbisschoppelijk paleis weerspiegelen nog steeds het aristocratische karakter dat door kardinaal d'Alsace aan het aartsbisschoppelijk paleis en het seminarie gegeven werd. De huidige gebouwen, die ondanks de uitbreiding van 1887 nog duidelijk de 18de-eeuwse situatie weergeven, vormen in hun geheel een indrukwekkend en groots ensemble dat in het omgevende kader van de Frederik de Merodestraat past en beeldbepalend is voor dit gedeelte van het stadscentrum.