Omwald kasteel met axiale beboomde dreef, zogenaamd "dreve Viviane" en vaste brug, fraai gelegen in een groene omgeving ten noordwesten van de kerk. Zetel van de heerlijkheid Voorde. Eerst gekende kasteelheer is Jan van Idegem, schepen van Geraardsbergen genoemd (14de eeuw). In 1486 in het bezit van Roeland van Wedergraete. Huidig kasteel gebouwd in 1539-40 door Joos van der Meere, zoon van Margriet van Wedergraete en Joris van der Meere, heer van Voorde. In 1580 verbrand door de Gentse rebellen. Tot 1736 bewoond door de familie van der Meene; nadien gebruikt als boerderij en klooster van de zusters van Buggenhout; herenhuis op de binnenplaats gebouwd in 1827. Domein heden bewoond en recent gerestaureerd (1974) door beeldhouwer-schilder Y. Rayé.

Een tekening van Sr. de la Pointe van 1696 toont ons een waterburcht, een gesloten rechthoekig massief met vierkant binnenplein, geflankeerd door vier ronde hoektorens; twee kleinere torentjes flankeren de inrijpoort met ophaalbrug. Huidig kasteel met behouden aanleg: vier vleugels gegroepeerd rondom de vierkante gekasseide binnenplaats. Van de laatmiddeleeuwse, versterkte burcht, opgetrokken in traditionele bak- en zandsteenstijl, blijven de noordvleugel met ingangspoort, flankerende torentjes en twee hoektorens, de deels behouden achtergevel van de oostvleugel en de zandstenen onderbouw van de zuidvleugel bewaard. Westvleugel van 1928 (zie gevelsteen). Oostvleugel vermoedelijk aangepast in 1928. Op de zuidzijde is het herenhuis (1827) door middel van achteruitspringende lagere bijbouwen verbonden met de laterale vleugels.

Noordvleugel, poortvleugel, 1539 gedateerd door middel van muurankers. Centrale korfboogpoort gevat in een omlijsting van zandsteen met rondstaaf profiel en geflankeerd door driekwart ronde torentjes onder rijzige daken, laatstgenoemde verbonden door middel van zadeldakje (leien) Gelijkaardige maar grotere hoektorens onder stompere kegeldaken. Poort en hoektorens verbonden door de deels behouden buitenmuur van de voormalige tweelaagse noordvleugel (zie tekening 1696). Witgevoegd baksteenmetselwerk op zandstenen onderbouw; verwerking van zandsteen voor hoekblokken, cordons, kruiskozijnen bezijden de hoektorens en vierkante vensters, schietgaten en steigergaten der torens.

Oostvleugel eveneens in baksteenmetselwerk op zandstenen onderbouw. Links, twee voormalige kruiskozijnen van zandsteen gemarkeerd door zandstenen cordon ter hoogte van de dorpels, omlopend over de noordoostelijke hoektoren. Rechts, smaller venster en rondboogdeurtje, laatstgenoemde gevat in een geprofileerde omlijsting van zandsteen. Verbinding met zuidvleugel door middel van een muur.

Zuidvleugel, behouden zandstenen onderbouw aan de buitenzijde, doorlopend onder woonhuis en flankerende bijbouwen.

Herenhuis met neoclassicistische inslag. Dubbelhuis van vijf traveeën en twee verdiepingen onder een zadeldak met klokkenruiter (Vlaamse pannen), daterend van 1827 volgens eigenaar. Witgekalkte bakstenen voorgevel (binnenplaats) op zandstenen sokkel met rechthoekige keldergaten. Rondboogvormige benedenvensters voorzien van latere houten rolluikkasten; rechthoekige bovenvensters. Rechthoekige deur met halfrond bovenlicht gevat in een rechthoekige omlijsting van arduin verfraaid met imposten, diamantkopsluitsteen en gestrekte druiplijst; steektrap met geprofileerde wellen. Achtergevel onderaan afgelijnd door zandstenen hoekblokken. Beluikte rondboogvormige benedenvensters en rechthoekige bovenvensters; roedeverdeling.

Westvleugel in een gevelsteen aan de binnenplaatszijde gedateerd 1928. Evenals de oostvleugel witgekalkt en voorzien van grote rechthoekige vensters.