In kern opklimmend tot de 13de eeuw. Volgens J.B. Stockmans vermoedelijk opgericht als steen der Familie Berthout of mogelijk als bolwerk ter bescherming aan de Nete (hameide: buitenste hek der poort van een stad, burcht of slot). Defensief karakter ook aangeduid door brede omgrachting. Als oudste eigenaar wordt Jan II Berthout vermeld in een vredesbestand van 1303. Allodiaal goed tot 1380. Naderhand achtereenvolgens eigendom van de familie van Immerseel, jonkheer B. Le Cocq (1635-1643), familie Rubens (1643-1759) en baron de Celles (1759-1815), die het op 23 oktober 1815 verkocht aan P.J.A. Le Grelle. In 1816 verwierf deze ook het "Gestelhof". Na de dood van Le Grelle, werd Rameyenhof vermoedelijk circa midden 19de eeuw door zijn weduwe "in zijn oorspronkelijke luister hersteld". Door erfenis kwam het in 1896 in handen van N.J.A. de Cock, die herstellingswerken liet uitvoeren en het domein vergrootte door aankoop van goederen die oorspronkelijk deel uitmaakten van de heerlijkheid (onder meer de Neerhoeve Rameyenstraat nummer 7); in 1906 ingang hersteld naar ontwerp van J. Bilmeyer: ruime voorpui met brug van 18 meter. Verdere restauratiewerken in 1917 (oorlogsschade) en in 1960.

Omgracht domein, vanaf de Rameyenstraat toegankelijk via een kastanjedreef vanaf ingangspoort naar poortgebouw, driehoekig neerhof met aan noord- en westzijde de 18de-eeuwse hoeve- en dienstgebouwen. Omgracht kasteel, vermoedelijk uit de 18de eeuw, aan oostzijde. Complex voorts omgeven door landschapspark met onder meer sequoia's, magnolia's, cypressen, kastanjelaars, linden en enkele monumentale siervazen; vermoedelijk aangelegd door graaf Le Grelle. Ten zuidwesten, doch eveneens binnen de omgrachting ligt de kasteelhoeve (Rameyenstraat nummer 6).

Ingangspoort: smeedijzeren hek tussen geblokte gecementeerde pijlers met bekronend bolornament, uit het eerste kwart van de 20ste eeuw.

Poortgebouw: twee bouwlagen tussen zijtrapgevels (5 treden + topstuk, rechts overhoeks) met duivengaten, onder leien zadeldak, in kern vermoedelijk uit de 16de eeuw. Verankerde constructie, uit bak- en zandsteen, doch heden gecementeerd; zandstenen kordon. Gedrukte rondboogdoorgang, aan voorzijde in vlakke omlijsting met sluitsteen waarop vermelding ANO 1701 en bekronend arduinen wapenschild van de familie Rubens; flankerende steunberen. Aan erfzijde geflankeerd door rechthoekige deurtjes. Op de tweede bouwlaag beluikte kruis- en kloosterkozijnen.

Brug van twee gedrukte spitsbogen uit bak- en natuursteen, arduinen dekplaten, ijzeren leuning; gekasseid wegdek.

Kasteel: U-vormig bepleisterd en witgeschilderd verankerd complex van twee bouwlagen onder leien zadeldaken, noordoostzijde met twee vleugels; drie ronde hoektorens onder leien spits met ijzeren bekroning, noordoosthoek ingenomen door de 13de-eeuwse donjon, heden onder peerspitsbekroning, doch oorspronkelijk merkelijk hoger (zie gravure van 1678 van Franz Ertinger gepubliceerd bij J. Leroy). Toegankelijk aan westzijde via houten brug met ijzeren afsluiting op arduinen zuilen met vierkante dekplaat. Gedichte steigergaten, rechthoekige beluikte 19de-eeuwse vensters ter vervanging van de vroegere kruiskozijnen (zie gravure Leroy Roy), sporadisch bewaard (onder meer in noordelijke toren). Kapel in zuidwestelijke toren met gotische spitsboogvensters. Binnenplaats met links toegang tot het kasteel. Ingang in 1906 gerestaureerd door J. Bilmeyer die een ruime voorpui aanbracht; sedert 1960 oorspronkelijke toestand hersteld. Rechthoekige deur in sobere arduinen entablementomlijsting naar 19de-eeuws patroon.

Interieur. zuidwestelijke toren met slotkapel op vijfzijdige plattegrond; bewaard gotisch netgewelf met vergulde ribben en bewaarde majolicavloer met wapens van de familie De Lannoy (eerste helft 16de eeuw). Neogotisch altaar uit de tweede helft van de 19de eeuw. Glasramen met onder meer de Heilige Familie, gedateerd 1862 en getekend J.F. Pluys Mechlinea. Salon in oostvleugel: stucwerkplafond met empirekenmerken; grijs-witte marmeren schouw met tegenover elkaar liggende toonkasten verwerkt in de muurbekleding; balken op consoles met acanthusblad. Wapenzaal met houten moerbalken, jaartal 1564 op één der balksloffen met acanthusblad; zwart-wit marmeren bevloering met centraal stermotief. Hoeksalon (zuidwesten) met emblemen van de rechtspraak als supraporta.

Voormalige paardenstallen, heden conciërgewoning en voormalig koetshuis en paardenmeesterswoning met 18de-eeuws uitzicht, en vermoedelijk 16de-eeuwse kern. Respectievelijk rechthoekige en licht L-vormige verankerde en deels bepleisterde bakstenen gebouwen van één bouwlaag onder pannen zadeldaken tussen zijtuitgevels met schouderstukken en muurvlechtingen. Conciërgewoning met gedichte steigergaten. Centraal dakvenster in trapgeveltje uit de 19de eeuw. Zuidzijde met beluikte rechthoekige vensters en verder kleine rechthoekige vensters. Symmetrisch geplaatste korfboogdeuren met kwarthol beloop en imitatie-omlijsting; paardenringen.

Voormalig koetshuis en centrale paardenmeesterswoning oorspronkelijk voorzien van zandstenen kruiskozijnen, waarvan één bewaard en overige met bewaarde omlijsting. Aantal kleine rechthoekige venstertjes en dakluiken. Twee rechthoekige deuren met lateiconsooltjes, waarvan één met geprofileerde zandstenen rechtstanden. Rechthoekige poorten met geprofileerde lateien, imitatie ontlastingsbogen; makelaar met jaartal 1738 in derde travee. Andere poorten naar verluidt vernieuwd circa 1960. Achtergevel met grotendeels aangepaste muuropeningen.