De kasteelruïne en de omliggende terreinen zijn representatief voor de evolutie van kastelen waarbij achtereenvolgens diverse functies aan de site werden gegeven. De kasteelsite Ter Elst evolueerde van een adellijke woonst naar een buitengoed van een abdij, kende daarna een industriële ontwikkeling en werd tenslotte gemeentelijk openbaar bezit.

De voormalige waterburcht is nauw verbonden met de geschiedenis van de gemeente Duffel. De huidige ruïne dateert van rond 1500, maar Ter Elst wordt al in 1271 in de geschreven bronnen genoemd als een adellijke verblijfplaats. De overblijfselen van het kasteel kunnen nog steeds worden herkend op de afbeelding van Ter Elst in het kastelenboek van het hertogdom Brabant van Jacobus Le Roy uit 1730.

De ruïne is ook een materiële getuige van de vroegere aanwezigheid van de abdij van Tongerlo in Duffel. De bezittingen van de norbertijnenabdij in en rond Duffel werden beheerd door de rentmeester die verbleef in het kasteel Ter Elst. Daarnaast diende het kasteel ook als verblijfplaats van de abten van Tongerlo buiten de abdij. De band tussen de abdij en het kasteel wordt uitgedrukt op de Sint-Anna- triptiek uit het begin van de 16de eeuw, waar op de achtergrond het kasteel Ter Elst is afgebeeld. Deze vroegste afbeelding van het kasteel is nog steeds herkenbaar in de huidige ruïne.

Na de inbeslagname van abdij-goederen in 1799 werd het kasteel deels gesloopt. De gevels van de resterende vleugels werden classicistisch aangepast. Na een historiserende restauratie omstreeks 1900 werd het kasteel ernstig beschadigd in 1914. Deze verdere evolutie van het kasteel (classicistische aanpassingen, historiserende restauratie en oorlogsschade) is nog steeds afleesbaar in de kasteelruïne.

De omgevende parkstructuur integreert een ouder boscompartiment en, als een relict van de industriële activiteiten die in de 19de en het begin van de 20ste eeuw op de kasteelsite werden ontwikkeld, een lage bakstenen muur met hardstenen hoekblokken.

De overblijfselen van het kasteel, inclusief de waterhoudende walgracht, zijn nog steeds een representatief voorbeeld van residentiële architectuur in Brabant van rond 1500. Kenmerkend zijn het materiaalgebruik (rode baksteen en bleke kalksteen) en de polygonale hoektorens en de achthoekige trap-toren. Hierdoor bezit de kasteelruïne een monumentale allure met een bepalende beeldwaarde voor de ruime omgeving.

De bewaring van de hoektorens en de achthoekige traptoren maakt dat de ruïne nog altijd kan worden herkend op afbeeldingen van het kasteel uit de zestiende, zeventiende en achttiende eeuw. Ook in de keermuur rond het verhoogde wooneiland zijn bouwsporen bewaard van gebouwen die zichtbaar zijn op de iconografische bronnen van het kasteel. Binnenin de zuidvleugel is de verdwenen indeling van een kelder en bovenverdiepingen nog herkenbaar. Latere aanpassingen en restauraties hebben de leesbaarheid van de ruïne niet aangetast.

Bovendien is de ruïne van het kasteel Ter Elst met bewaarde walgracht een zeldzaam voorbeeld van een laatmiddeleeuwse waterburcht in de streek van Rupel en Nete.

Tijdens opgravingen in 1981-1982 werden er muurresten van verdwenen gebouwen blootgelegd. Er werden ook voorwerpen uit de zestiende eeuw gevonden. Dit wijst op de aanwezigheid van een archeologisch waardevol bodemarchief op het wooneiland van het kasteel. Zo kan alleen archeologisch onderzoek nog uitsluitsel geven over de oudste occupatiefasen van de site (twaalfde en dertiende eeuw). Buiten het wooneiland kan ook de site van het vroegere neerhof nog archeologische sporen bevatten. Omwille van het archeologische potentieel is de kasteelruïne opgenomen in de Centraal Archeologische Inventaris.