Het Wilderkasteel was in oorsprong een waterburcht die opklom tot 1216 toen het de verblijfplaats was van de woudgraven van Brabant. Sinds 1546 was het gekend als ’t Hof te Wilre. In de 17de en 18de eeuw was het kasteel eigendom van de priorij Klein Bijgaarden, die hun convent in een nabijgelegen kasteel hadden, en werd het gebruikt als woning voor de rentmeester en proosten. Op de kabinetskaart van de Ferraris (1770-1778) zien we het kasteel op een vierkant perceel omringd door een brede ringgracht met ingangsgebouw. Op het perceel zijn verschillende moestuinen aanwezig. In de Atlas der Buurtwegen (circa 1840) zien we nagenoeg hetzelfde beeld. In 1868 kwam het in bezit van de familie Wittouck.

De omgeving van het voormalige Wilderkasteel werd in het begin van de jaren 1970 verkaveld op basis van een goedgekeurde verkavelingsvergunning van 1969. Een bijzonder plan van aanleg (BPA) van 1964 in de gemeente Sint-Pieters-Leeuw voorzag reeds in de integratie van het kasteel in een zone voor open bebouwing. In 1971 werd het terrein opgehoogd en werden de walgrachten gedempt. De gemeente Sint-Pieters-Leeuw werd op 6 februari 1975 eigenaar van het Wilderkasteel met het oog op de restauratie en herbestemming van het sterk onderkomen kasteel. Aan de verschillende restauratievoorstellen werd uiteindelijk geen gevolg gegeven. Ook van het voorstel om het inmiddels volledig vervallen kasteel te consolideren als kasteelruïne werd eind jaren 1980 afgezien.

Na 1996 werden geen pogingen meer ondernomen om de kasteelruïne en het waardevol bomenbestand van het Wilderkasteel te vrijwaren. Wellicht takelden de overblijvende resten van het kasteel verder versneld af. In de omgeving van het voormalige kasteel bleven bij een herinventarisatie in 2004-2005 slechts enkele bomen op een grasland over van de vroegere beplanting. Op dat ogenblik was het kasteel reeds volledig verdwenen. Tussen 2013 en 2015 zijn enkele bomen op het perceel gerooid waardoor er nu slechts een boom overblijft.