Dit landbouw- en woondorp met een oppervlakte van 606 ha en met 1054 inwoners (01.01.1998) is gelegen aan de linker oever van de Schelde in Zandlemig-Vlaanderen en werd in 1970 bij Wortegem-Petegem gevoegd. Ten noorden tot zuidoosten grenzend aan Petegem-aan-de-Schelde, ten zuiden en zuidoosten aan Oudenaarde (Melden), ten zuidwesten aan Avelgem (Kerkhove), ten westen en noordwesten aan Anzegem (Kaster en Gijzelbrechtegem) in West-Vlaanderen.

Bij het rivieralluvium sluit onmiddelijk een golvend landschap aan, met hoogten tussen 12,5 en 55 m met overwegend klei- en zandgronden. Drie beken doorsnijden Elsegem in noordzuidelijke richting; de Kasterbeek (of Wullebeek), de Nederbeek (ook Maalbeek of Meulebeek) en de Snepbeek.

Het toponiem Elsegem, als "Hessenghem" voor het eerst vermeld in 1166, is van Germaanse oorsprong en gaat terug op "Halisingahaim" en betekent "de woning van de lieden van Haliso". Enkele archeologische vondsten wijzen op een oudere bewoning. Het toponiem "Elsegemkouter" is te situeren op de zandleemrug bij de site van het thans verdwenen kasteel van Elsegem, in het Zuiden, aan de buitenkant van een vroegere scherpe Scheldebocht, een uitgesproken site voor vroegmiddeleeuwse bewoning. Volgens G. Berings lag het oorspronkelijke Elsegem vermoedelijk bij het kasteel en werd het later verplaatst naar een verder afgelegen plaats, het huidige Elsegem-dorp.

In de 12de eeuw was de kerk een eigenkerk. Het patronaatsrecht behoorde toe aan het kapittel van Doornik. In de 17de eeuw zorgde het augustijnerklooster voor de parochiale bediening.

Elsegem was vanaf 1595 een heerlijkheid binnen de hoogpointerij van Petegem en van de kasselrij Oudenaarde. Samen met andere kleine heerlijkheden groepeerde het zich rond het feodaal kasteel onder de naam "Rockeghem" en behoorde toe aan Adrien d' Aubremont. Tot 1662 bleef Elsegem in handen van de familie d' Aubremont om over te gaan naar de familie de Berghes St. Winnoc die het in 1718 verkocht aan Jean-Baptiste X de Ghellinck d'Elseghem. Tot in 1933 waren de de Ghellincks d'Elseghem Vaernewyck burgemeester van Elsegem. In 1973 brandde het kasteel gedeeltelijk uit en werd het kort daarna volledig afgebroken, het kasteeldomein werd verkocht aan de gemeente en wordt thans ter beschikking gesteld aan de verenigingen en inwoners van Wortegem-Petegem.

Elsegem bezat een augustijnerpriorij van Onze-Lieve-Vrouw ter Walle met kloosterkerk, in 1416 gesticht door Bernard Van Brakel-Van den Bossche en in 1782 afgeschaft onder Jozef II (zie Kloosterstraat nummer 11).

In de Beekstraat bevindt zich een voormalig omgracht kasteel zogenaamd "Ter Beck" van 1687.

Verder had Elsegem drie windmolens, één watermolen en één rosmolen en telde het heel wat brouwerijen, die thans echter alle verdwenen zijn.

Het huidige stratenpatroon komt nog grotendeels overeen met het laatmiddeleeuwse. De belangrijkste as in het oude wegennet loopt langs de Schelde van Oudenaarde naar Doornik, met nagenoeg zelfde tracé van de huidige Kortrijkstraat (vroeger zogenaamde Heerweg). In 1868 werd de spoorlijn Denderleeuw-Kortrijk dwars door Elsegem aangelegd. De Schelde werd verschillende keren rechtgetrokken, gronden van een oude Scheldearm behoorden voordien tot het grondgebied Kluisbergen (Berchem). Qua bebouwing treft men verspreid losse landelijke bebouwing en in de dorpskern een evolutie naar lintbebouwing.