Nu N.V. De Verenigde Rusthuizen. Omgracht kasteeltje in neo-Vlaamserenaissance-stijl met voorgevel van vijf traveeën onder schilddak (nok parallel aan de straat, kunstleien) en hoektoren met octogonale spits, opklimmend tot het eerste kwart van de 20ste eeuw.

Oorspronkelijk kasteel in 1662-1664 opgetrokken door baron Jacob Ferdinand de la Pierre, heer van Fay, als uitbreiding van het vroegere, aan de overzijde van de heerbaan gelegen, "hof ten Damme". De oudste vermelding van dit - intussen verdwenen - hof zou teruggaan tot 1235 met als toenmalige eigenaar Walterus van Damme die het in leen had van het huis van Grimbergen. Tegen de latere oprichting van het Gravenkasteel was dit hof niet meer dan een eenvoudige pachthoeve.

Voortgaande op de gravure uit het werk van J. Le Roy was het eerste kasteel opgetrokken in barokstijl met een omgrachting, ophaalbruggen, een poortgebouw, een vooruitspringend en opengewerkt portaal en twee torengebouwen op de hoeken. In de 17de en de 18de eeuw was het Gravenkasteel eigendom van de adellijke geslachten De Croy en De Salm-Kyrbourg. Gedurende de 19de eeuw ging het goed over van de ene familie naar de andere. Circa 1902 werd het gebouw door familie Moretus de Bouchout gerestaureerd naar ontwerp van G. Dhaeyer uit Brussel: veel elementen (zie oude foto's) gaan terug op de typische baroktrant van de 17de eeuw. In 1914 werd het vanuit het fort van Bornem beschoten en aldus zwaar beschadigd (zie kasteel te Melis). Na de oorlog werd het kasteel op bescheiden schaal herbouwd in een veranderd uitzicht (zie huidige toestand). Circa 1965 kocht de heer De Maegd het domein en bouwde circa 1968 tussen het kasteel en Lippelodorp een verpleegtehuis.

Onderkelderde bak- en natuursteenbouw. Gebruik van natuursteen voor plint, puilijsten, speklagen, omlijstingen met hoek- of negblokken en decoratieve elementen; dakvensters en dakkapellen. Tuitgevel (links) van drie traveeën en twee bouwlagen, aandak op schouderstukken, verlevendigd door overhoekse pinakel en gevelsteen. Lijstgevel van twee traveeën en twee bouwlagen; voor het portaal een segmentboogarcade op decoratieve Dorische zuilen, met balustrade, ijzeren afsluiting en trap; gevelsteen met opschrift "labore et constantia", spreuk van de familie Moretus, en doorbroken kroonlijst. Monumentale ronde hoektoren (rechts) van drie bouwlagen, twee boogfriezen met maskerkop en oculus, kroonlijst.

Op de begane grond rechthoekige vensters, getralied en overwegend beluikt; op de eerste verdieping segmentboogvormige vensters met decoratieve latei. Zij- en achtergevels met onregelmatige travee-indeling, terras en aangebouwde veranda. Toegangspoort met ijzeren hekken en omgrachting (gedeeltelijk bewaard) gaan terug op vroegere bouwfase en site. Bijgebouwen, eertijds stallingen en zo meer, nu verbouwd tot woonhuis; bak- en natuursteenbouw onder zadeldak (nok parallel aan de straat, kunstleien); puntgevels met aandak; steunberen; dakkapellen; grondplan van gebouw met vooruitspringende tuitgevel (ten oosten) dateert van een verbouwing uit circa 1871; gebouw (ten oosten) werd pas circa 1972 opgetrokken.