Kasteelsite in het zuidoosten aan de buitenkant van een voorheen scherpe Scheldebocht. Toegang tot het domein en park in het noorden aan de Kortrijkstraat en in het zuiden toegang tot verdwenen kasteel met 19de-eeuwse bijgebouwen.

Volgens G. Berings laten zowel de ligging als de aansluitende zogenaamde "Elsegemkouter" (een vroegmiddeleeuws bewoningstoponiem) gelegen op de zandleemrug, vermoeden dat daar wellicht het oorspronkelijke Elsegem lag.

De kasteelsite gaat terug op de hoeve "Goed ter Schelden" die met het "Goed ten Doorne" (zie nummer 108) een heerlijkheid vormde en door een dreef verbonden was met de weg naar Anzegem.

De heerlijkheid Elsegem was met andere heerlijkheden rond het feodaal kasteel gegroepeerd, op een leen "Ten Doorne", later "Rockeghem". In 1718 kocht Jean-Baptiste X de Ghellinck het feodaal omgracht kasteel van Pierre de Berghes St. Winnoc. Het kasteel werd hersteld en het park opnieuw ontworpen. Zijn zoon Jean-Baptiste XI, laatste heer van Elsegem, liet het kasteel in 1786-1789 verbouwen tot een symmetrisch geheel in classicistische stijl en de tuin werd in formele stijl aangelegd, met taxus- en lindebomen. Tijdens de Franse revolutie geplunderd en na 1855 werd het domein terug door de familie verworven. In 1861 hergroepeerde Charles de Ghellinck de verdeelde gronden en kocht de oude arm van de Schelde aan. Na het rechttrekken van de Schelde werd het afgesneden deel ervan aan het park gehecht. Onder Ernest de Ghellinck d' Elseghem werd in 1862 het park in landschappelijke stijl met 16 hectare vergroot, werd een ommuurde moestuin aangelegd, en in 1864-1866 het kasteel zogenaamd "Lamershof" met balustrades en bijgebouwen (paardenstallen en koetshuizen) herbouwd door architect Aimable Désiré Limbourg in een neo-Lodewijk XIII-stijl. Het park werd in formele stijl aangepast en het perspectief doorgetrokken naar de Schelde. In 1912 werd het park verlengd en herontworpen en in jaren 1960 vereenvoudigd. In beide Wereldoorlogen schade. In augustus 1973 brandde het kasteel uit en kort daarna werd het volledig afgebroken. Kort daarna werd het kasteeldomein De Ghellinck d'Elseghem bezit van de gemeente, het domein wordt ter beschikking gesteld van verenigingen en inwoners van Wortegem-Petegem.

Middenin park noordzuid-georiënteerd indrukwekkend omgracht voorhof in dubbele halfmaanvorm, van verdwenen kasteel op site van omwalde nederzetting. Sokkel van Doornikse kalksteen en arduin met ingebouwde vaste drieledige boogbrug. Sierlijke natuurstenen balustervormige borstwering in Lodewijk XIV-stijl. Omwalde nederzetting en deel van de vijver afgesloten met drie meter hoge muur van Doornikse steen, waarvan binnenkant is opgevuld met resten van het oude kasteel en aarde van uitbreiding van de vijver.

Ten zuidwesten, vroegere paardenstal en zadelmakerij uit midden 19de eeuw, in 1889 in opdracht van Amaury de Ghellinck verhoogd met archiefzaal, nu in herstel en gedeelte aangepast en sinds 1994 uitgebaat als taverne. Bak- en hardsteenarchitectuur in eclectische stijl onder leien schilddak. Noordoostelijke gevel, symmetrische bouw getypeerd door gevelhoge rondboogvelden met heden brede benedenvensters in plaats van vroegere rechthoekige vleugelpoorten, gescheiden door pilasters met bredere centrale rondboogpoort en kleine rechthoekige bovenvensters. Verhoogd in 1892 onder leien dak met open lantaarn. Zuidwestelijke gevel is soberder opgevat met hoger oplopende centrale rondboog.

In zuidhoek, voormalige bibliotheek van 1893-1895 (tweede grootste van België) gebouwd boven oranjerie in opdracht van Amaury de Ghellinck, naar verluidt door architect Malfait in neo-Vlaamserenaissance; beschadigd in beide Wereldoorlogen. Vervallen bak- en natuursteenbouw van twee bouwlagen. Voorheen met moerbalk met wapenschilden van de familie de Ghellinck. Symmetrisch gebouw van vijf traveeën, links met toren en rechts met aanbouw en hoektorentje. Zuidoostelijke lijstgevel van vijf traveeën en twee bouwlagen, hoger oplopende middenrisaliet, aan dakrand met sierlijke natuurstenen cartouche met "Anno 1895". Verdwenen dak. Rechthoekige bovenvensters met restanten van stenen kruiskozijnen en traliewerk. Afgeronde benedenvensters op pilasters. Begane grond binnenin voorzien van bakstenen troggewelven met ijzeren balken. Linkse hoektoren onder leien schilddak. Sierlijke cartouche met "Bibliotheca" boven opengewerkt onderdeel met kruisgewelf op sluitstenen in de vorm van hoofdjes.

Rechts aanbouw onder leien schilddak met rond hoektorentje met leien spits. In het noordwesten, grootse voormalige moestuin in rechthoekige met halfronde uitbouw in het noorden, aangelegd in jaren 1860 met hoge bakstenen ommuring met lisenen en pilasters, nu met gras begroeid.

Ten zuiden, gebouwtje van Doornikse steen onder kunstleien schilddak. Functie en datering zijn niet gekend. Archeologisch onderzoek zou antwoorden kunnen bieden.