Gelegen aan de Nete en volgens enkele literatuurbronnen samen met het Antwerpse Steen, één der oudste gebouwen in de provincie Antwerpen; oorsprong opklimmend tot de verre middeleeuwen. Voor de geschiedenis vanaf de twaalfde eeuw zijn er geschreven bronnen voorhanden: Ter Elst was toen in handen van de gebroeders Hildincshusen, de oudst gekende heren van Duffel, zie gemeente-inleiding; vanaf 1356 tot de Franse Revolutie eigendom van de abdij van Tongerlo, die het kasteel liet uitbouwen tot een prachtig domein; gebruikt als woning van de rentmeester van de lokale abdijgoederen en als residentie voor de abten en hun gevolg als ze op reis gingen; regelmatig verbleven er hoge gasten, zo onder meer Margaretha van York en Filips De Schone. Afgebrand tijdens de godsdienstperikelen in 1584, doch naderhand heropgebouwd; iconografische bronnen uit 17de en 18de eeuw tonen een vrij omvangrijk complex, bestaande uit meerdere vleugels en torens met binnenkoer, omgeven door een brede slotgracht en aangelegde tuinen. Vanaf eind 16de eeuw in gebruik als pastorie.

In 1799 aangeslagen en verkocht aan Louis Hermans; drie van de vier hoofdgebouwen van het kasteelcomplex werden gesloopt, de vleugel met de vijf torens werd grondig gerenoveerd. In 1879 verkocht aan C. Funcke, die in de onmiddellijke omgeving "Steenbakkerij Ter Elst" oprichtte; de steenbakkerij bleef tot de eerste Wereldoorlog zeer actief en bepaalde sterk het uitzicht van de omgeving. Zowel steenbakkerij als kasteel werden zwaar beschadigd tijdens de Eerste Wereldoorlog; de steenbakkerij verdween uit het dorpsbeeld, mede door de zware concurrentie van de Kempen; het kasteel verviel tot ruïne; in 1972 aangekocht door het gemeentebestuur, als ruïne gerestaureerd en met het nieuw aangelegde, omringende park in 1982 opengesteld voor het publiek. Het park sluit aan op het "Muggenbergpark", zie Hondiuslaan, en vormt zo een belangrijke groene zone in het centrum van de gemeente.

Volgens oude foto's bestond het kasteel voor de Eerste Wereldoorlog uit een traditionele bak- en zandstenen vleugel van twee bouwlagen onder zadeldak, op rechthoekige plattegrond met vier polygonale hoektorens; haaks aanbouwsel en bijkomende octogonale toren aan oostgevel met aansluitend rond traptorentje. Bij de restauratiewerken naar ontwerp van V.F. Goossens en J.F. Gielis werden de beschermde omgrachting en toegangsbrug volledig hersteld, de nog overeind staande muren en torens, die opklimmen tot eind 15de, begin 16de eeuw, werden geconsolideerd en gedeeltelijk aangevuld met duidelijk te onderscheiden materiaal.