Grachten rond perceel van 51 are, relicten van feodaal kasteel (neerhof met waterkasteel) dat rond 1800 werd afgebroken; oude kadastrale kaarten getuigen van pogingen om een vroeg-landschappelijke tuin aan te leggen.

De heren van Wezemaal speelden een belangrijke rol tijdens de late Middeleeuwen. Het omgrachte feodale kasteel van Wezemaal stond ten zuiden van de dorpskerk. De oudste bekende afbeelding van dit slot komt voor op een figuratieve kaart uit 1598 in een van de albums de Croÿ. De grachten vormden min of meer een 8-figuur; op het noordelijke eiland stond het neerhof met de toegangspoort; op het zuidelijke het hooghof, het eigenlijke kasteel. Een groot perceel boomgaard strekte zich uit ten zuiden van het complex. De nauwkeurigheid van deze kaart wordt bevestigd door een figuratieve kaart uit het grote kaartboek van de abdij van Averbode, circa 1650-1660, en een gravure van Harrewijn ("Prospectus castelli Wesemaele" uit 1699) bijna een eeuw later. Buiten de boomgaard (bij Harrewijn rechts op de achtergrond) zijn er geen tuinbouwkundige elementen of details zichtbaar. Op de Ferrariskaart (1771-1775) is de dubbelstructuur nog zichtbaar, maar ten zuiden van het kasteel ligt een kruisgewijze ingedeelde eilandtuin; het langgerekte kasteelblok strekt zich buiten de ringgracht uit in zuidwestelijke richting, wordt afgelijnd door dreven die vanuit de dorpskern komen en bestaat voor de rest uit bos. De betrouwbaarheid van de Ferrariskaart staat echter wat dergelijke details betreft niet onomstotelijk vast.

Op de Primitieve kadasterkaart opgemaakt door J. Gulikers rond 1820 is de dubbele eilandstructuur nog aanwezig maar elk spoor van bebouwing is verdwenen. De eigenaardige bochtige contouren van de oevers, ook de buitenoevers van de ringgracht, laten vermoeden dat de familie d'Ursel – die sinds 1600 de baronie Wezemaal in bezit had en ook in het nieuwe regime eigenaar was van het kasteel en een groot deel van het dorp – plannen heeft gekoesterd om de oude kasteelsite om te bouwen tot een buitengoed 'nieuwe stijl'. De omvormig van de dubbele eilandstructuur is geen resultaat van natuurlijke verlandingsprocessen. Het beantwoordt aan een model dat in de periode 1800-1815 in de regio in talrijke landgoederen werd gevolgd, onder meer in het nabijgelegen abdijdomein van Vrouwenpark*, dat door advocaat Moerinckx tot een "Engelschen hof" werd omgevormd. De vroegste landschappelijke tuinen of parkjes – jardins à l'anglaise die nog sterk aansluiten bij de rococotuinmode – kenmerken zich door uitbundig kronkelende oevers en paden binnen een strak kader (bijvoorbeeld een oude ringgracht). In de kadastrale legger wordt het met kleine en inhammen doorsneden eiland (perceel 446; 51 are groot) als boomgaard opgetekend. De vroeg-landschappelijke vormgeving van de kasteelsite wordt kadastraal pas afgevoerd in 1943, waarschijnlijk lang nadat ze verdwenen was want de stafkaart van 1864 (ICM, 1880) toont een boomgaard omringd door rechtlijnige grachten. Een voorstel om de site te 'rangschikken' als landschap' werd in 1964 door de Koninklijke Commissie voor Monumenten en Landschappen afgewezen op grond van een verslag dat al meer dan een eeuw oud was en dat grosso modo ook de huidige toestand weergeeft: "Er is niets overgebleven van dat sterk en vermaerd kasteel, hetwelk niet verre van de pastory gelegen was; er bestaet nog een stuk boomgaerd. Digt by den steenweg op Leuven, links ziet men grachten, bosschagiën, beplant met kanada en andere boomen, elsen hout, eene leegte, uitmakende eene weide, waer het kasteel zich bevond; de grachten hoorden er aen toe".