Duistere oorsprong. Volgens sommigen opgericht op de grondvesten van het Berthoudershof. In de 15de eeuw eigendom van de Bisschop van Kamerijk Jan van Bourgondië. In 1482 verkocht aan Margareta van Gruuthuuze en in 1494 aan Hendrik van Nassau (vanwaar de benaming Hof van Nassau).

Door erfenis kwam het toe aan Willem de Zwijger die een reeks bijgebouwen liet optrekken. Het complex werd fel beschadigd bij de ontploffing van de Zandpoort in 1546. Na de nodige herstellingen werd het in 1611 overgelaten aan Ridder Kerreman die het in 1613 overdroeg aan de begijntjes van het Godshuis van de Heilige Drievuldigheid.

Nadien onderging het gebouw de nodige transformatie (kreeg onder meer een dakruiter om de godsdienstige bestemming aan te duiden). Bijgebouwen werden afgebroken. In 1808 aangekocht door de stad. Nadien: uiteenlopende bestemmingen, onder meer opslagplaats, atelier van kunstglazenier,... In 1949 omsloten door de Rijksmiddelbare School Pitsemburg. Op de gelijkvloerse verdieping werd een werkplaats voor metaalbewerking ingericht; op de tweede bouwlaag een speelkamer en klaslokaal.

Heden rest nog alleen het geïsoleerde gotische hoofdgebouw uit de 15de eeuw, opgetrokken uit baksteen en witte zandsteen op een rechthoekige plattegrond met aan de noordzijde een centraal uitgebouwde vierkante traptoren en aan de zuidzijde het uitspringend koor van de huiskapel en de vierkant uitgebouwde sacristie.

Hoofdgebouw van twee bouwlagen onder een leien zadeldak met zijtrapgevels. Zandstenen sokkel met kwarthollijst en kordonlijst tussen de eerste en tweede bouwlaag. Voormalige kruiskozijnen meestal verbouwd tot rechthoekige vensters met arduinen lekdrempels, bewaarde hoek- en negblokken, bakstenen ontlastingsbogen. Gedichte vensters van verschillende types zijn duidelijk te lokaliseren door de bewaarde hoek- en negblokken.

Noordgevel. Verankerde lijstgevel van vijf traveeën en centraal uitgebouwde vierkante traptoren. Eerste travee omvat een rondboogdeur in een zandstenen omlijsting, geflankeerd door twee pilasters van gesinterde baksteen. Houten deur met oud slot en ijzerbeslag, rechts een zandstenen halfzuil met hoge sokkel en verweerd bladkapiteel, enig overblijfsel van de galerij die hier eertijds vertrok. Deels aangepaste muuropeningen. Steigergaten. De oorspronkelijk hogere traptoren werd in een ongekende periode afgebroken tot aan de kroonlijst, geknikt leien lessenaarsdak.

Oostgevel. Begane grond: twee gekoppelde rondboogvensters (voormalig kruiskozijn?), zandstenen omlijsting en onderdorpel; kordonlijst tussen eerste en tweede bouwlaag; voorts aangepaste en gedichte muuropeningen.

Zuidgevel. Lijstgevel van vier traveeën, gemarkeerd door de uitspringenede driezijdige huiskapel, volledig van zandsteen, gestut door vier verweerde steunberen met dubbele versnijding; gedrukt spitsboogvormige tweelichten onder druiplijst, deels vernieuwd maaswerk, gedicht venster aan de zuidoostzijde, driezijdig afgesnuit dak. Links van de kapel de vierkante uitgebouwde sacristie met vernieuwde trapgevel. Diefijzers voor benedenvensters, steigergaten. Dakvenster en getrapte dakkapel met bolkozijn.

Westgevel. Lage zandstenen plint, rechthoekige deur met zandstenen latei en ontlastingsboog.

Interieur. Kapel: oorspronkelijk netgewelf op fijne consooltjes, hangende sluitstenen. In vertrekken van de bovenverdieping: twee laatgotische schouwen op hoge geprofileerde sokkels. Oorspronkelijk dakgebint.