Het leengoed Houtem, afhankelijk van het land van Grimbergen, was aanvankelijk bezit van een sedert 1180 vermeld geslacht van Ramsdonk, nadien en tot 1474 van een familie van Houtem; in 1522 wordt het gekocht door M. Transilvain en in 1559 vererfd door B. de Merode, wiens zoon het in 1607 verkoopt aan Ph. de Mol; laatstgenoemde laat het sterk beschadigde slot herbouwen; sedert 1640 eigendom van het geslacht van Beugem, wordt het kasteel in de 17de eeuw herbouwd en pas in 1878 door deze familie verkocht aan L.P. de Meester, wiens nakomelingen het tot op heden bewonen.

Afbeeldingen van 1697 en 1735 tonen een waterkasteel van vier met trapgevels afgewerkte vleugels rondom een binnenplaats, met twee hoektorentjes en een uitspringende kapel in de rechtervleugel. De zuidvleugel met ophaalbrug werd het eerst gesloopt; de oost- en westvleugels werden circa 1880 bij algehele restauratie van het goed (naar ontwerp van Charle-Albert) gesloopt en deels heropgebouwd; enkel de centrale vleugel behoudt dus een oudere kern. Circa 1932 werd het kasteel verfraaid door E. de Meester; hij liet onder meer in een romantische stijl het poortgebouw met torentjes bij de brug bouwen en laatstgenoemde voorzien van de oude gesmeed ijzeren hek.

Heden is het een U-vormig waterkasteel waarvan de funderingen zouden kunnen opklimmen tot de 12de eeuw, en die zeker de begrenzing geven van het 17de-eeuwse gebouw, doch het huidig algemeen uitzicht resulteert van de restauraties uit de 19de en 20ste eeuw. De oudere elementen zijn: de onderbouw van het linker terrasdeel met zandstenen sokkel en met baksteenmetselwerk verrijkt met hoekstenen, speklagen en schietgaten van zandsteen; een wapensteen (van Beugem - de Villegas, begin 18de eeuw), die begin 20ste eeuw in de westermuur werd ingemetseld; een plint en stukjes speklaag in de voorgevel van het centrale deel; in de achtergevel van deze vleugel, links, de aanzet van enkele rijen zandstenen speklagen, en in het midden, omlijstingen van twee kruiskozijnen boven elkaar (17de eeuw).

De hoeve, met éénlaagse gebouwen van baksteen onder zadeldaken (pannen), werd eveneens tijdens de 19de en 20ste eeuw aangepast, doch hier resten een getralied half kruisvenster met negblokken van zandsteen (17de eeuw) en enkele steekboogvensters van zandsteen (tweede helft 18de eeuw).

Beide constructies zijn gelegen in een groot, omgracht domein met fraai park en dreef; bij de ingang, zandstenen hekpijlers met vaasbekroning en een gesmeed ijzeren hek (einde 18de eeuw) afkomstig van het Brusselse Warandepark en hier circa 1835 overgebracht.