In 1290 wordt reeds een passantenhuis ter plaatse vermeld; onder impuls van Maria de Cottereau, Dame van Asse ondergaat de stichting een heropbloei in 1647 als gasthuis, dank zij de komst van in 1645 uit Hulst gevluchte gasthuiszusters. De gebouwen, in 1585 verwoest en verlaten, worden geleidelijk heropgebouwd; de Onze-Lieve-Vrouwekapel wordt in 1649 ingewijd. De stichting wordt in 1680, 1682 en 1695 geplunderd; tijdens de Franse Revolutie worden de gebouwen in 1798 ingericht als gendarmerie; nadien worden ze eigendom van de C.O.O. (Commissie van Openbare Onderstand) die ze opnieuw als gasthuis gebruikt en ze onder meer in 1874 (architect Hansotte) met bijgebouwen vergroot.

In zijn huidige vorm gaat het om een U-vormig complex van gebouwen uit de 17de, 18de en 19de eeuw geschikt rondom een binnenplein.

De zuidvleugel (parallel aan het Gemeenteplein) werd aangepast in de loop van de 19de eeuw doch behoudt duidelijk een oude kern, wellicht opklimmend tot de wederopbouwperiode van de 17de eeuw. Tot deze kern behoort de kapel (georiënteerd), de sacristie met behouden deuromlijsting uit de 17de eeuw, een gelijkaardig deurtje tegenover de kapel, en de beide zuidtraveeën der oost- en westvleugels, met onder meer een vertrek dat in 1707 (gedateerd) een stucplafond kreeg. De zuidgevel kreeg in de loop van de 19de eeuw een cementbepleistering, de kapel kreeg een nieuw zuidportaal (door chronogram gedateerd 1835) en het hospitaal een nieuwe ingang.

Tegen de noordgevel werd in dezelfde periode een aanvankelijk open gaanderij met bovenverdieping gebouwd, onder het doorlopend dakschild van de kapel; naderhand werd ze gedicht, licht verhoogd en onder plat dak geplaatst. Een gedeelte van de oorspronkelijke zuidgevel is bewaard in het gedeelte (drie traveeën) dat voorbij de haakse oostvleugel doorloopt: de voormalige kruisvensters hebben alle op de begane grond, een ontlastingssysteem van dubbele bakstenen boogjes: hetzelfde systeem vindt men in de zuidelijke traveeën van de oost- en westvleugels.

De oostvleugel, in traditionele bak- en zandsteenstijl, telt in zijn huidige vorm twaalf traveeën, twee bouwlagen met een zadeldak (leien) en dakkapellen. De zuidtraveeën horen chronologisch tot de zuidvleugel (duidelijke bouwnaad en ontlastingssysteem). De overige traveeën zijn door verankering gedateerd 1727; baksteenbouw met gebruik van zandsteen voor de onderbouw en de omlijstingen. Voormalige kruiskozijnen met speklagen ter hoogte van lateien, middenkalven en onderdorpels; ontlastingssysteem van een onderbroken platte laag. Twee rondboogdeuren in zandstenen omlijstingen met kwartholle neg, imposten en sluitsteen, een bovendien bekroond met een rondboogdruiplijst.

De achtergevel van deze vleugel werd sterker gewijzigd; enkele resterende voormalige kruisvensters en lage rechthoekige deurtjes. Voorbij de bouwnaad bleef in de bovenverdieping een oorspronkelijk kruiskozijn behouden. De overige muuropeningen dateren uit de 19de eeuw. Meerdere vertrekken van deze vleugel hebben stucplafonds uit de 18de eeuw; bovendien wordt er een oude apotheekinrichting bewaard.

De westvleugel, eveneens in bak- en zandsteenstijl, telt negen traveeën van twee bouwlagen afgedekt met een zadeldak (leien) met dakkapellen; ten zuiden een dakruitertje ter bekroning van de kapel en ten noorden een zijtrapgevel (14 treden en topstuk); bouwjaar "Anno 1712" aangeduid op de imposten van het Vlaamse venster.

Hier tonen een bouwnaad en het verschil in ontlastingssysteem eveneens dat de beide zuidtraveeën tot de dwarse zuidvleugel (17de eeuw) behoren. Verhoogde begane grond met gecementeerde, afgeschuinde plint en een korfboogkelderdeur van zandsteen; een rondboogdeur met negblokken, imposten, sluitsteen en een druiplijst met gestrekte uiteinden; de deurtravee loopt uit op een op gelijkaardige wijze afgewerkt Vlaams venster met trapgeveltje. Voormalige kruis- en bolkozijnen van zandsteen verrijkt met negblokken en overspannen met een hoge ontlastingsboog van strek.

De twee noordtraveeën behouden ter plaatse van een rechthoekige deur en een venster van arduin uit de 19de eeuw, sporen van twee grote rondbogen van zandsteen. De achtergevel, gestut door steunberen wegens het verlagen van het oorspronkelijk wegniveau, vertoont geen sporen van oorspronkelijke muuropeningen. Deze vleugel behoudt een keuken bekleed met Delftse tegeltjes.

Tegen de noordzijgevels van de oost- en westvleugels werden in de loop van de 19de eeuw onbelangrijke aanhorigheden bij gebouwd.