"Esenkasteel", in zijn huidige vorm daterend uit de wederopbouwperiode.

In de eerste helft van de 19de eeuw bevond zich op deze plaats een bescheiden landhuis, door de plaatselijke bevolking ‘jachtpavilioen’ genoemd (bekend als lusthuis en gebouwen bij het kadaster). Tussen 1870 en 1875 wordt dit paviljoen afgebroken: ridder Edmond de Ruysscher-Hynderick bouwt op dezelfde plaats een kasteel met omliggend park met orangerie, dienstgebouwen en woning voor hovenier. Volgens een andere bron was het kasteel echter reeds gebouwd door de vorige eigenaar, Pierre Antoine de Ruysscher (gestorven in 1863).

Maurice Maeterlinck (Gent, 1862-Nice, 1949), Franstalig toneelschrijver en neef van Edmond de Ruysscher, beschreef het kasteel in "Bulles Bleues" (vertaald): "Het kasteel van Diksmuide was indrukwekkend lelijk. Het was gebouwd op de puinen van een lieflijk riddergoed uit de zestiende eeuw, waarvan slechts een oude kopergravure als herinnering achtergebleven is. De plaatselijke architect had de stijl Tourangeau (de streek van Tours) geamalgameerd met de Engelse rustieke bouwtrant, gekruist met het Zwitserse landhuis. (...)". De orangerie was opgetrokken in een eclectische baksteenarchitectuur met kantelen en torentjes (zie prentbriefkaart). Aan het einde van de 19de eeuw werd een kapel bijgebouwd. Aan het begin van de 20ste eeuw kreeg het kasteel de benaming "de witte toren" naar de toren met witstenen ornamenten die aan de voorzijde van het kasteel bijgebouwd was.

Tijdens de Eerste Wereldoorlog vonden er ter hoogte van het kasteel hevige gevechten plaats: op 24 oktober 1914 staken de Duitsers het "Esenkasteel" in brand, ze bouwden de ruïne en het park om tot een haast oninneembare vesting met loopgraven, prikkeldraad, schietgaten, uitkijkposten, mitrailleurbunkers en commandopost. De Duitsers zaten op circa 500 meter van de vooruitgeschoven Belgische posten. Eind oktober en begin november 1914 probeerden de Belgen en de Fransen meerdere malen om het kasteel te heroveren, doch moesten daar uiteindelijk van af zien.

In 1925 werd het kasteel heropgebouwd in een neoclassicistische baksteenarchitectuur, dit door de familie Hynderyck de Ghelcke en naar ontwerp van architect Lauwers (Brussel). Tijdens de Tweede Wereldoorlog werd het kasteel opnieuw bezet door de Duitsers, het kasteel liep echter geen schade op.
Eind 1944 verbleven de Canadese generaal Foulkes en de Britse veldmaarschalk Montgommery in het kasteel. In 1983 werd het kasteel verkocht aan de stad Diksmuide die er een oorlogsmuseum inrichtte. In 1996, aankoop door de provincie West-Vlaanderen die van daaruit de streekwerking voor de Westhoek uitbouwt.

Neoclassicistische gele baksteenbouw uit de wederopbouwperiode, gelegen op een talud in park. Breedhuis van negen traveeën en twee bouwlagen onder leien schilddak (eenvoudige witgeschilderde kroonlijst op blokken en tandlijst, dakkapellen onder gebogen kroonlijst), links en rechts geflankeerd door lage traveeën onder plat dak en met balusterleuningen. Voorgevel opgevat als pilastergevel met breed centraal gedeelte met toegang en geaccentueerd door fronton met oculus. Deze inkompartij wordt links en rechts geflankeerd door vooruitspringende risalieten met hoekpilasters en geaccentueerd door dakschilden. Tevens horizontale geleding. Getoogde muuropeningen in een geriemde omlijsting, de portaaltravee wordt echter gekenmerkt door een rondbogige vleugeldeur en dito deurvenster met balkon op de verdieping (radvormige bovenlichten). Ook het overige beschilderde houtwerk is bewaard: kruisindeling en persiennes. Soberdere achtergevel met enkel hoekpilasters.
Park met onder meer vijver en waterput uit de jaren 1920.