Het oorspronkelijke Kasteel van Relegem, in de 14de eeuw door Jan van Relegem bewoond, wordt afgebeeld op een gravure van 1632; het is een waterslot met drie vleugels, gedomineerd door een hoge meestentoren op de zuidwestzijde, rondom een door een hoge gekanteelde muur afgesloten binnenplaats, toegankelijk langs een hoog poortgebouw. Het huidig waterslot, in de loop van de tweede helft van de 18de eeuw door graaf de Baillet aangepast, respecteert de algemene opzet van de waterburcht; het poortgebouw, de meestentoren en de gekanteelde muur werden evenwel afgebroken.

Kasteel

Geplaveide binnenplaats in het midden van de noordwestervleugel toegankelijk langs een gesmeed ijzeren hek dat het poortgebouw vervangt. Links, losstaand paviljoen met twee bouwlagen van drie traveeën afgedekt met een schilddak (leien); begane grond van zandsteen in breuksteenverband en bovenverdieping van baksteen met sporen van de traditionele bak- en zandsteenstijl van de vroegere toestand: zandstenen cordons, wigvormig ontlastingssysteem, hoekblokken en steigergaten (duidelijkst zichtbaar in de noordgevel) en sporen van kruisvensters (westgevel). De huidige muuropeningen resulteren van de verbouwing in de tweede helft van de 18de eeuw: steekboogvensters (midden 18de eeuw), met omlijstingen van arduin voorzien van riemprofiel, nauwelijks aangeduide sleutel, en een op spiraaltjes uitlopende smalle druiplijst; in de oostgevel, smaller omlijste steekboogvensters verrijkt met een uitgewerkte sleutel (tweede helft 18de eeuw). Elke gevel is voorzien van een dakvenster met kwartronde consooltjes onder de latei, en op drie zijden met een trapgeveltje (16de-, 17de eeuw) en de vierde met een segmentfronton (tweede helft 18de eeuw); uurwerk in de zuidoostgevel (voorheen zonnewijzer).

Twee verdiepingen hoge zuidwestervleugel van vijf traveeën met een haakse travee ten noorden, afgedekt met een schilddak (leien); breuksteenbouw van zandsteen. Steekboogvensters (midden 18de eeuw) met arduinen omlijstingen voorzien van riemprofiel, sluitsteen met klein schelpmotief en op spiraaltjes uitlopende druiplijst ritmeren de gevels. Centrale travee van de noordoostgevel (binnenplaatszijde) voorzien van een sober geprofileerde rondboogdeur ingeschreven in een rechthoekige omlijsting met uitgespaarde hoeken, druiplijst, régence-sleutel en jaartal 1749 in de zwikken (tijdstip van de vroegste verbouwingen); deurvenster erboven en bekronende dakkapel met driehoekig fronton. Op de begane grond van de zuidwestergevel resten er twee smalle vensters (voorheen middenkalf) van de 16de-, 17de-eeuwse toestand. In dezelfde gevel, rechts een dakkapel van zandsteen tussen vleugelstukken bekroond met een driehoekig fronton met bolbekroning, en links, een dakkapel met segmentfronton zoals in de westgevel. Zuidoostvleugel met één bouwlaag en mansardedak (leien): zandsteenbouw met uitspringende en van sterke afzaat voorziene sokkel aan de grachtkant en met gecementeerde noordwestgevel. Hoge steekboogvensters met smal druiplijstje in alle gevels, en in de noordwestgevel, een kwarthol geprofileerde rondboogdeur met imposten en sleutel, ingeschreven in een met druiplijst bekroonde rechthoekige omlijsting met wapenschild erboven. Tussen volutes gevatte houten dakvensters met driehoekig fronton. Op de noordoostzijde vervangt een lage muur de vroegere hoge gekanteelde.

Kasteelhoeve

Ten westen, kasteelhoeve met geplaveid erf, met een sterk verbouwde traditionele kern; oorspronkelijke zandsteenbouw met herstelde en vernieuwde gedeelten van baksteen.

Van de langsschuur onder zadeldak (pannen) is nog slechts een zijgevel van zandsteen op een uitstekende met kwartholprofiel afgewerkte plint, bakstenen top en topstuk, vlechtingen van gesinterde steen en schouderstukken van zandsteen; rondbooginrijpoort van zandsteen met imposten en verankerde sleutel; de overige gevels zijn van baksteen met vernieuwde muuropeningen, onder meer imitaties van de staldeuren en oculi (idem voor recente constructies in de onmiddellijke omgeving van het kasteel). In het verlengde, éénlaagse vleugel onder zadeldak (pannen); in het resterend muurpand van zandsteen, vijf rondboogdeuren met imposten, sluitsteen en druiplijst van zandsteen en drie op gelijkaardige wijze afgewerkte oculi. In het verlengde, boerenhuis met bakstenen voorgevel doch achteraan een zandstenen hoge kamer met sporen van de oorspronkelijke muuropeningen.

Tegenover de schuur, een L-vormige vleugel met twee bouwlagen en een schilddak (pannen), uit de 19de eeuw; begane grond geritmeerd door blinde steekbogen van baksteen en de bovenverdieping door steekboogvensters.

Conciërgewoning

Bij de ingang van het domein, conciërgewoning met één verdieping van drie traveeën onder zadeldak (leien), met sterk verbouwde kern in traditionele stijl; beide bakstenen trapgevels, de achtergevel en de twee kruisvensters van de voorgevel zijn vernieuwd; in de gecementeerde voorgevel met plaatselijk zichtbare baksteen, is de middentravee vermoedelijk wel oorspronkelijk: rondboogdeur met negblokken, imposten, sluitsteen en druiplijst, en bekronende getrapte dakkapel met consooltjes onder de vensterlatei.