De site met tuin gaat terug op een voormalige grafelijke verblijfplaats, en vormt in die zin een belangrijke historische site in de Torhoutse binnenstad. De oorspronkelijk omwalde site wordt in de 16de eeuw zwaar beschadigd bij de godsdiensttroebelen. Op het einde van de 16de eeuw kwam het domein in handen van de familie Van der Espt die tijdens het ancien régime een belangrijke rol speelde als "erfachtige griffiers van het leenhof van Wijnendale". In het begin van de 17de eeuw wordt Jan Spilmans via huwelijk de nieuwe eigenaar. In 1714 koopt Louis Charles Zannequin, ontvanger-generaal van de heerlijkheid Wijnendale de site. In 1727 wordt Pieter Fraeys, schepen van het land van Wijnenale, eigenaar. Hij voegt "'s Gravenwinkel" bij zijn eigendommen op de Burg. Na de dood van Pieter Fraeys (1866) komt de site in handen van Auguste Vercruysse-Putzeys. In 1867 wordt de omwalling gedempt (zie mutatieschets).

De oudst teruggevonden mutatieschets is die van 1867 (het primitief kadasterplan van circa 1830 ontbreekt). Volgens de eerste aanwijzende tafel is de eigenares de weduwe van Carel Fraeys, "brouwerinne" te Torhout. Zij bezit onder meer twee huizen, de brouwerij (Burg), de boomgaard en tuinen waaronder de "wal als tuin". Uit het 'dagboek der mutaties' in 1920 (mutatieschets ontbreekt) blijkt dat het woonhuis vergroot wordt. Bouwheer is Vanhoutte - Rubbrecht, Valeer - Rijkaard, handelaar te Torhout. Het gaat om een vrij ingrijpende verbouwing zie mutatieschets van 1955 ('situatie voor') en bewaard bouwplan in het stadsarchief (1928, architect Thierry Nolf, zie afbeelding). In 1955 vergroting van het volume met aanpalende nieuwbouw (vermoedelijk garage).

Huis met 18de-eeuwse kern met dubbelhuisopstand: oorspronkelijk zeven traveeën en twee bouwlagen onder zadeldak (rode Vlaamse pannen, gootlijst op klossen). Hierop wordt in de jaren 1920 een haakse vleugel uitgebouwd waardoor een L-vormig grondplan ontstaat. In de oksel, wordt vermoedelijk in de jaren 1920 een lagere vleugel onder zadeldak gebouwd (nok parallel met 18de-eeuws volume, klimmende dakvensters). Verankerde witgeschilderde baksteenbouw boven gepekte plint. 18de-eeuws volume: rechthoekige muuropeningen in een grijs beschilderde vlakke omlijsting met sluitstenen. Bewaard beschilderd houtwerk met kruisindeling, en op de verdieping kleine roedeverdeling, bewaarde oude deur. De haakse vleugel uit de jaren 1920 loopt op in een puntgevel met aanzetstenen en aandak. Hier getoogde muuropeningen en rechthoekige muuropeningen verdiept in steekboognis; zelfde type houtwerk op de begane grond, op de verdieping houtwerk met T-indeling en kleine roedeverdeling, deur met waaiervormig bovenlicht. Gaaf bewaarde achtergevel met houtwerk met T- en kruisindeling en kleine roedeverdeling.

Gaaf bewaard interieur: onder meer gestucte balken, Lodewijk XVI-schouwen met stucwerk met festoenen en afbeelding van muziekinstrumenten.

Tuin met bewaarde 19de-eeuwse kenmerken: centraal verdiept gazon en solitaire parkbomen waaronder bruine beuken, taxus, tamme kastanje en opmerkelijke mammoetboom, heestermassieven met onder meer sneeuwbes, hulst, aucuba, sering, gouden regen en hazelaar. Rondgaand aarden pad afgeboord met mechanische dakpannen. Centraal op nieuwe plaats heropgebouwde, witgeschilderde kapel (circa 2000) met bewaarde nis. De oorspronkelijke kapel stond op de hoek van het domein (hoek Fraeysstraat/ 's Gravenwinkelstraat) en dateerde van 1867 (circa mutatieschets, afbraak van de kapel in 1978 volgens mutatieschets). Ten oosten van de tuin, voormalig stalgebouw onder zadeldak (Vlaamse pannen); de dichtgemetselde bogen wijzen op voormalige functie als koetshuis. Ten westen vaag resterende contour van gedempte walgracht.