Het Seminariehuis is een herenhuis van acht traveeën en drie bouwlagen onder een mansardedak (leien) en schilddak (pannen), met twee recente dakkapellen, volgens archiefstukken vermoedelijk te dateren 1767. De voorgevel werd in 1900 beraapt met uitzondering van de natuurstenen elementen. De plint van beschilderde natuursteen is opengewerkt met keldervensters.

Het pand stond haaks op de straat en heeft een lengte van circa 19 meter. Het Steen stond bij De Potter bekend als Steen der Vilains of het Steen van Ressegem en werd door Armand Heins reeds beschreven. In 1462 werd het pand verkocht aan priester Boudewijn Diederic vermoedelijk voor de bisschop van Doornik die ernaast zijn ‘herberghe’ hield.

De keldertoegang van op de straat is origineel en opgetrokken in Doornikse kalksteen. De kelder wordt afgesloten met een houten plankendeur met hengsels, voor de ramen staan diefijzers. De kelder loopt verder door in de tuin. Het Steen bevindt zich onder het rechterdeel van het pand. De ruimte wordt opgespitst met vier zuilen in drie beuken van drie traveeën. De basementen zitten nog onder de vloer. Aan de straatzijde (noord-oosthoek van de voorgevel) duiden sporen op een oorspronkelijke toegang van op de straat. De muren bevatten verschillende bouwsporen. Achter de 13de-eeuwse kelder liggen nog twee boven elkaar gelegen kelders met tongewelven, vermoedelijk uit de 15de eeuw. De bovenste heeft een gotische schouw.

Het bovengronds herenhuis met zijn acht traveeën en drie bouwlagen dateert uit 1767. Het bekronend hoofdgestel springt boven de vier middentraveeën vooruit en is bekroond met een driehoekig fronton met oculus, omringd met rococomotieven in stucwerk. Zowel de poort als deur zijn rechthoekig. Boven de poort werd in de 19de-eeuw een hardstenen balkon met ijzeren balustrade aangebracht. De ramen van de eerste twee bouwlagen zijn recht, in de bovenste bouwlaag getogen. De vensters zijn voorzien van een vlakke omlijsting en doorlopende onderdorpels. De achtergevel is een sobere, beschilderde bakstenen gevel met drie vooruitspringende traveeën onder een mansardedak.

Bovengronds heeft de woning een klassiek 18de-eeuws dubbelhuispatroon met centrale gang en traphal. Omheen de traphal liggen vier salons, een bureau en een keuken. De interieurs werden in de 19de eeuw opnieuw gedecoreerd met stucwerk en schouwmantels. Het binnenschrijnwerk en trap werden niet aangepast en bleven in 18de-eeuwse staat. Links van het huis en bereikbaar via een gang ligt de koetsdoorrit met typisch 19de-eeuwse vormentaal. Op de bovenverdiepingen werden de kamers geordend rond de traphal die verlicht wordt met een lichtkoepel. De hal werd gedecoreerd met Egyptiserende elementen (kapitelen) wat de herinrichting aan het begin van de 19de eeuw plaatst. In de slaapkamers bleef het 18de-eeuws stucwerk bewaard, net als enkele binnendeuren en deuromlijstingen. Moerbalken zijn op de bovenverdiepingen duidelijk zichtbaar, zeker op de tweede verdieping. In het gehele huis bleven plankenvloeren bewaard. De dakstructuur is eveneens 18de-eeuws.