Bestaande uit het poortgebouw van de 15de-eeuwse burcht van de opeenvolgende heren van Diegem en een rechthoekig paviljoen, opgericht als cultureel centrum in het derde kwart van de twintigste eeuw, ter vervanging van het oudere kasteel met traditionele kern, zie oude foto's.

Omwaterd complex met deels omringend park, eertijds gelegen op de oever van de Woluwe. In 1738 werd het goed omschreven als een waterburcht met ophaalbrug "een sekere huyse van plaisantie met syne optreckende brugghe ende waeter rondomme met de dreve, pachthoff, schure, stallingen... geheeten het Seyp". De huidige naamgeving Marga klimt op tot het begin van de twintigste eeuw en verwijst naar de laatste privé-eigenaar August Ulric Marga, die het goed aankocht in 1902. In 1927 werd het kasteel door de familie Marga verkocht aan de Interkommunale Vereniging tot Sanering van de Woluwevallei, sinds 1953 is het complex eigendom van de gemeente.

Op afbeeldingen van 1699 en 1730 ziet men een gesloten waterkasteel, opgetrokken uit de lokale zandsteen en toegankelijk via een poortgebouw waarin men de nog bestaande Margatorens herkent met drie kegelvormige spitsen; in de oostgevel bemerkt men in de meest zuidelijke travee een spitsboogvenster dat vermoedelijk verwijst naar het bestaan van een kapel. De mutatieschetsen van het kadaster vertonen tot 1866 nog een U-vormig omwaterd ensemble; in dat jaar werd de zuidoostelijke vleugel gesloopt en bleven enkel het zuidwestelijk gelegen poortgebouw en het noordoostelijk gelegen kasteel over. Prentkaarten uit het begin van de twintigste eeuw tonen het voorgebouw met een centraal tentdak en twee spitsen, ten noorden ligt het sober uitgewerkte, bepleisterde kasteel van tien traveeën en twee bouwlagen onder mansardedak. Het algemene volume op rechthoekige plattegrond met hoge rechthoekige vensters en de lelieankers doen een traditionele kern vermoeden; de centrale rondboogdeur zit gevat in een eenvoudige entablementomlijsting. Dit gebouw brandde af in 1945.

Het gemeentebestuur kocht het domein in 1953 om het tot nieuw gemeentehuis te verbouwen; uiteindelijk werd op het einde van de jaren 1960 beslist om er een cultureel centrum op te richten. Ter plaatse van de vroegere kasteelvleugel ontwierp de Machelse architect Karel Roelants een constructie die qua algemene vormgeving en volume, hoewel beduidend lager, nog min of meer refereert aan de vroegere toestand. Voor de opbouw van de nieuwe constructie werd recuperatiemateriaal van het oude kasteel gebruikt.

Het vijftiende-eeuwse, uit lokale zandsteen opgetrokken poortgebouw werd in 1987 gerestaureerd naar ontwerp van het architectenatelier AA. Het omvat een centraal rechthoekig volume van drie bouwlagen onder leien tentdak voorafgegaan door ronde, flankerende hoektorens met gedichte steigergaten onder leien spitsen op kraagstenen. De bovenbouw van de torens kraagt licht uit ten opzichte van de opengewerkte basis met pijlers verbonden door rondbogen. Het hele gebouw heeft op de tweede bouwlaag rechthoekige vensters die overspannen worden door brede ontlastingsbogen; de bovenverdieping wordt geopend door kruis- en kloosterkozijnen; schietgaten bevinden zich aan weerszijden van de torens. Het hoofdvolume heeft een licht uitkragende bovenverdieping op korbelen in de zuidgevel en in de westgevel een nagenoeg gevelhoge rondboognis, de kleine vierkante vensters en lichtgleuven in de noordwestelijke hoek verwijzen naar de ligging van de spiltrap. De zandstenen korfboogbrug met gekasseid wegdek geeft, via de korfboogdoorgang met gekalkt tongewelf, toegang tot de eveneens gekasseide binnenplaats. Boven de doorgang zat eertijds een gevelsteen met het wapenschild van Antoon Happart (1670-1715) en zijn echtgenote Anna Carolina de Fierlant; deze steen is heden verdwenen; volgens literatuurbronnen werd hij bij de verkoop in 1927 meegenomen door de dochters van August Marga. Inwendig vertoont de tweede bouwlaag in de centrale ruimte een ribgewelf op consoles met centrale sluitsteen en twee hoekkamers met een koepelgewelf; op de derde bouwlaag bestaat de zoldering uit moer- en kinderbalken; spiltrap in de noordelijke hoek.

Het omringende park strekt zich uit tussen het Alfons De Cockplein, de Woluwelaan, de Corneel De Ceusterstraat en de Kerktorenstraat, waar een deel van de zandstenen kasteelmuur en twee vierkante hekpijlers bewaard bleven (nummer 41). De voorheen aanwezige vijver werd gedicht in 1943 en in 1956 werd het voormalige kasteelpark ingericht als gemeentelijk park met voetbalveld.

Van de waterburcht met binnenplaats waarvan J. Le Roy (1699) een gravure toont blijft slechts de voorburcht met ringgracht over. Zichten van 1943 tonen nog een twee verdiepingen hoge kasteelvleugel in een bomenrijk domein, sedertdien werd het domein "geürbaniseerd" en het kasteel vervangen door een qua verhoudingen niet erg geslaagde constructie met mansardedak (leien), die dienst doet als cultureel centrum.

Ingangstoren daterend uit de 15de eeuw; zandstenen constructie met een tentdak (roofingbekleding, voorheen leien), een kroonlijst op vierkante modillons, en een mooi afgewerkte schoorsteen.

In de voorgevel flankeren deze twee torens met kegeldaken de rondboogdoorgang; hun hoge sokkel, afgewerkt met een puilijst op kraagstenen, is uitgehold met een rondboognis en een kwartrondboognis en is voorzien van een spitsboogdoorgang naar de wallen; vierkante venstertjes onder zandstenen ontlastingsboog op de eerste woonlaag, kloosterkozijnen en schietgaten op de tweede. Het vierkante middendeel heeft op de eerste woonlaag gelijkaardig overspannen muuropeningen; de tweede woonlaag, met licht overkragende voorgevel op korbelen, is voorzien van een kruisen een kloosterkozijn; laatstgenoemde werden aangebracht in de loop van de 17de eeuw zodra het slot zijn typisch verdedigingskarakter verloor.

Binnenin is de tweede verdieping overwelfd met een zevendelig kruisribgewelf op bewerkte kraagsteentjes, en met koepels in de torens. De bovenste verdieping is ingericht als woonruimte met vensterbanken, een latrine en een stookplaats; houten zoldering gedragen door een constructie van moerbalken met geprofileerde sloffen op kraagstenen, in de vorm van een Andrieskruis met Antoniuskruis tussenin. Dakgebint met telmerken.

Op de hoek van de Kerktorenstraat en de Van der Aastraat resterende zandstenen omheiningsmuur en vierkante hekpijlers van zandsteen behorend tot de vroegere kasteelmuur.