Het voormalig bevoordeeld leen Wilre hing af van Heverlee en kende wisselende leenheren in de loop der middeleeuwen. In 1629 kwam het goed via huwelijk in de familie Cruyckenburg die het behield tot het einde van het ancien régime.

Vermelding van een burcht in de tweede helft van de 14de eeuw; vernieling door de Spaanse Troepen in 1578. In 1629 wordt Wilre beschreven als een ruim domein dat onder meer een pas opgericht kasteel bevatte, een eveneens heropgebouwde watermolen, zogenaamd Cammenmolen en een door brand geteisterde hoeve.

Een gravure van Harrewyn, circa 1690, opgenomen in het werk van J. Le Roy, geeft ons een beeld van het verdwenen, ten dele omgracht en ommuurd complex. Gemarkeerde poort in een geblokte omlijsting met fantasievolle frontonbekroning middenin de hoofdmuur geflankeerd door twee hoektorens. Blijkbaar L-vormig kasteel, ingeplant achteraan op het staatsieplein; vierkante toren met speelse ingesnoerde en peerspitsbekroning in de oksel; rechtervleugel uitgewerkt als een opeenvolging van drie klokgevels boven een open galerij aan de pleinzijde; hun haakse zadeldaken worden opgenomen in de hogere afgesnuite bedaking van deze vleugel (gewone lijstgevel aan de tuinzijde). Het huidige, vrij eenvoudig kasteel in laat-classicistische stijl werd opgericht in 1823. Het is ingeplant in een ruim park met talrijke populieren.

De fraaie Wilderdreef, in 1687 aangelegd door graaf de Cruyckenburg, verbindt het Wilderkasteel met het heden verdwenen kasteel van Ruisbeek.