Gelegen op de plaats van de oude dorpsburcht, heden gemeentelijke openbare bibliotheek en sociocultureel centrum.

De oorsprong van deze oude dorpsburcht klimt vermoedelijk op tot de dertiende eeuw als voortzetting van het Frankische Hof op Stretem, zie inleiding gemeente; ze beheerste eeuwenlang de Woluwe(beek) en gaf aanleiding tot de stichting van de dorpskern tussen de burcht en de kerk. In de zestiende eeuw, tijdens de godsdiensttroebelen werden de burcht en de nabijgelegen kerk zwaar beschadigd, zoals duidelijk tot uiting komt op de kaart van M. Bollin van 1594 waar de burcht is afgebeeld als ruïne.

Voortgaande op een steen met het jaar 1648, ontdekt bij de restauratie op het einde van de jaren 1980, werd de burcht naar de bouwstijl in die periode hersteld. De oude kern, bestaande uit het woonhuis en de toren, bleef behouden maar het geheel kreeg een eigentijds uitzicht aansluitend bij de Vlaamse renaissance; in het begin van de achttiende eeuw was het een mooi buitengoed, omgeven door een diepe gracht. In 1792 werd het hele domein aangekocht door Melchior Jozef de Villegas, baron van Pellenberg, waaraan het kasteel zijn huidige benaming dankt. Vanaf 1926 werd het kasteel gebruikt als rustoord en familiepension en naderhand, in het midden van de twintigste eeuw, werd het omgevormd tot appartementsgebouw. In 1986 werd het aangekocht door de gemeente, in de periode 1988-1991 gevolgd door een ingrijpende restauratie waarbij het complex nagenoeg volledig werd vernieuwd; op 15 november 1991 werd het gerenoveerde kasteel ingehuldigd als nieuwe bibliotheek en sociocultureel centrum Pellenberg.

Het algemene volume en de ordonnantie refereren duidelijk aan de vroegere toestand; het uitspringende toegangsgedeelte dat geflankeerd wordt door twee torentjes bleef grosso modo behouden evenals de polygonale, zandstenen toren van 1648 tegen de achtergevel; deze toren onder leien spits vertoont in de bovenste geleding eenvoudige rondboogvensters.