Het huis maakte eertijds deel uit van een groter gebouwencomplex met binnentuin dat, vóór de aanleg van de Rabotstraat in 1860, gelegen was aan een pleintje, de “Begijnendriesch”, en aan de omgrachting van het begijnhof. Van het gebouwencomplex bleef een 18de-eeuwse woning bewaard, het huidige Sint-Elisabethshuis, en een 17de-eeuws achtergebouw.

Het Sint-Elisabethshuis werd reeds in de 16de eeuw als een “loove” van één bouwlaag in kaart gebracht. De woning werd grotendeels wederopgebouwd en met een verdieping verhoogd na de verkoop in 1729. Het gebouw was van 1765 tot 1794 in het bezit van de Geraardsbergse Sint-Adriaansabdij, die het als refugehuis gebruikte. In 1813 werd het complex eigendom van het aanpalende begijnhof en sedert 1823 is de kerkfabriek eigenares. Na de verhuizing in 1874 van de begijnen naar het nieuwe begijnhof in Sint-Amandsberg deed het huis dienst als pastorie van de Sint-Elisabethsparochie.

Het haaks op de straat ingeplant, onderkelderd huis telt zeven traveeën en twee bouwlagen en wordt afgedekt met een mansardedak (pannen). De beschilderde bakstenen lijstgevel op gepikte plint is opgetrokken in Lodewijk XIV-stijl en dateert vermoedelijk uit het tweede kwart van de 18de eeuw. De rechthoekige vensters vertonen op de bovenverdieping nog het 18de-eeuwse houtwerk, opgevuld met kleine metalen roedeverdeling uit het begin van de 19de eeuw. Het gekorniste hoofdgestel onder de kroonlijst wordt gedragen door voluutconsoles. Sporen in de dakconstructie laten vermoeden dat eertijds een fronton het middenrisaliet bekroonde. Het fronton werd inmiddels herplaatst. De deur is gevat in een eenvoudig beschilderde rechthoekige omlijsting van zandsteen. Het interieur is ontmanteld en verwaarloosd.

Het gebouw palend aan de achterzijde behoort heden gedeeltelijk bij het huis gelegen Sint-Elisabethplein 14, maar vormde in het verleden één geheel. Het betreft een 17de-eeuws woongedeelte waarvan de voorgevel, de huidige achterpuntgevel, oorspronkelijk uitzag op de “Begijnendriesch”. In oorsprong was de geveltop van het bak- en zandstenen gebouw uitgewerkt als trapgevel. Bij het aanbrengen van de gevelcementering werd de geveltop aangepast tot puntgevel. De smeedijzeren lelieankers dateren nog uit het begin van de 17de eeuw. Onder de cementering zijn de ontlastingsbogen van bak- en zandsteen nog zichtbaar. Oorspronkelijk bevond zich naast de trapgevel een aanpalend gebouw dat gesloopt werd in 1926. De nog bestaande korfboogdeur in de rechter travee gaf toegang tot het belendend gebouw. Door de sloping ervan werd een binnenmuur de huidige zijgevel. Op de zolderverdieping zijn de kruiskozijnen nog gedeeltelijk bewaard.

In het interieur zijn de balklagen en een sober uitgewerkte bordestrap met balusters, leidend naar de bovenverdieping van het parochiehuis, behouden. In het 17de-eeuwse gedeelte is het dakgebinte intact bewaard.