Het in kern 16de-eeuwse Huys van de Vrouwe van Spagne, ook gekend als het Huis Bergmans, heeft een T-vormige plattegrond en bestaat uit een achterin gelegen diephuis met trapgevel dat aan de straatgevelzijde verbouwd werd tot een bredere lijstgevel.

In zijn oorspronkelijke vorm, was het deel van een L-vormig complex in zogenaamde bak- en zandsteenstijl, en hoorde het samen met het aanpalende pand (Naamsestraat nummer 65) tot de site van het goed van ’t Sestich (nummer 69-73). Het nu nog bestaande gedeelte is de voormalige dwarsvleugel van het complex, en telde eertijds drie traveeën en twee bouwlagen onder een zeer steil zadeldak. De voorgevel was voorzien van speklagen, kruis- en kloostervensters in negblokomlijstingen, net zoals de als trapgevel uitgewerkte achtergevel.

De vroegste vermelding van een gebouw ter hoogte van het Huis van de Vrouwe van Spagne, in de noordelijke hoek van het domein Van ‘t Sestich, dateert van 1508 toen grond verkocht werd aan het aanpalende College van Atrecht (Naamsestraat nummer 63). De in 1986 nog zichtbare achtertrapgevel in bak- en zandsteenstijl, met kruiskozijnen met ontlastingssysteem en speklagen, dateerden het pand dat mogelijk fungeerde als pendant van het gotische Huis De Spiegel, alleszins in de vroege 16de eeuw. Uit volkstellingen is ook geweten dat het gebouw op het einde van de 16de eeuw (1593-1594) door de familie Van ’t Sestich voor een aanzienlijk bedrag verhuurd werd. Zo gaat de naam van het burgerhuis terug op de huurster, de Vrouwe van Attenhove, echtgenote en nadien weduwe van jonker Philips van Spagne. De familie van Spagne huurde het pand, samen met hun dienstpersoneel alleszins tot 1634. Het Huys van de Vrouwe van Spagne werd tot en met de verkoop van het domein in de jaren 1650 verhuurd.

Omstreeks 1650 verkocht de patriciërsfamilie Van ’t Sestich het ganse domein en werd het opgesplitst in twee gescheiden delen. Het noordelijke deel (nummers 65-67-69), waartoe ook het Huys van de Vrouwe van Spagne behoorde, bleef woonzone en kwam toe aan de latere adellijke burgemeestersfamilie Baelemans die het tot 1818 in hun bezit hielden. Tot 1850 behoorde het toe aan de familie Van Rengen - De Munter.

In de 18de of begin 19de eeuw werd het Huys van de Vrouwe van Spagne ingrijpend verbouwd. De trapgevel in traditionele bak- en zandsteenstijl aan de Naamsestraat had tot dan toe alleen vensters. In de 18de of begin 19de eeuw werd de toegang naar de Naamsestraat verplaatst en in functie daarvan een nieuwe deur in de linkertravee geplaatst. De trapgevel aan de straatzijde werd daarbij ook afgebroken tot het zolderniveau en volgens de gangbare mode vervangen door een hogere lijstgevel. Inwendig werd het gebouw ook aangepast, zoals volgens het bouwhistorisch onderzoek van de Maesschalck en Viaene bleek uit de ongewone plaatsing van de kelder, de slechte inwendige verbinding van de kamers en het gewijzigde zolderniveau. De trapgevel achteraan bleef behouden.

Voor 1850 had het Huys van de Vrouwe van Spagne aan straatzijde alleszins het voorkomen van een bepleisterd enkelhuis met lijstgevel in neoclassicistische stijl, was het met halve bouwlaag verhoogd en voorzien van een laadvenster. In de eerste helft van de 20ste eeuw werd de voorgevel van het Huys van de Vrouwe van Spagne ontpleisterd, waardoor naast het metselwerk sporen van de 16de-eeuwse natuurstenen plint, speklagen, neg- en hoekblokken terug zichtbaar werden.

Vanaf 1942 werd het Ministerie van Openbare Werken eigenaar van het ganse complex Van ‘t Sestich, waaronder het Huys van de Vrouwe van Spagne. In de jaren 1960 voldeed het burgerhuis echter niet meer aan de brandnormen voor onderwijsgebouwen en bleef het leegstaan waardoor het in verval geraakte. Tussen 1986 en 1990 werd het Huys van de Vrouwe van Spagne verkocht aan een privépersoon die het omvormde en grondig verbouwde tot woonentiteit met praktijkruimte. Bij deze ingrijpende werken werden in de voorgevel een rondboogdeur en garagepoort toegevoegd, het interieur nagenoeg volledig ontmanteld, de achtergevel gesloopt en heropgebouwd met nieuwe materialen en een nieuwe ordonnantie, en werd het 16de-eeuwse dakspant gedeeltelijk geamputeerd ter invoeging van een liftschacht.

Toen tijdens de werken het dakspant gedeeltelijk zichtbaar werd door afbraak van de achtergevel, bleek het dakgebint enerzijds nokloos - en dus opklimmend tot de 16de eeuw - en anderzijds deels geamputeerd om een bijkomende balkenlaag en verdieping in te voegen. Dit gebeurde wellicht in de loop van de 19de eeuw, toen het pand met een bouwlaag verhoogd werd en men de voorgevel in neoclassicistische stijl aanpaste, waardoor het gebouw grosso modo zijn huidige uitzicht verkreeg: een enkelhuis van drie traveeën en drie bouwlagen onder een gecombineerd zadeldak met een bepleisterde lijstgevel aan de straatzijde, heden ontpleisterd, en een bepleisterde – ondertussen heropgebouwde - trapgevel aan de tuinzijde.

Thans is het Huys van de Vrouwe van Spagne opgedeeld in meerdere woongelegenheden en inwendig verbonden met Naamsestraat 65.