Klein-Gelmen maakte oorspronkelijk deel uit van de parochie Gelinden. De kerk was een quarta-capella van die van Gelinden. Archivalische bronnen vermelden reeds een kapel in het jaar 1000, toegewijd aan Onze-Lieve-Vrouw en Sint-Eligius. Zoals de moederkerk behoorde de kapel toe aan het Sint-Maternuskapittel van Luik. De tienden behoorden voor één derde aan het Sint-Maternuskapittel en voor twee derden aan de proost van de Sint-Lambertuskathedraal te Luik. In 1560 wordt de bouw of verbouwing van een toren vermeld.

In 1796 wordt Klein-Gelmen afgescheiden van de parochie Gelinden en bij de parochie Heers gevoegd. In 1835 wordt het een zelfstandige parochie. In 1879, onder het pastoraat van F. De Maeyer, wordt besloten de oude kapel af te breken en in 1881 wordt een nieuwe kerk gebouwd naar ontwerp van I.J. Gérard; deze kerk ligt op dezelfde plaats, echter iets meer naar het westen, op een hoogte, binnen het ommuurde kerkhof.

Het is een neogotische zaalkerk van vier traveeën met ingebouwde westtoren, koor van twee rechte traveeën met driezijdige sluiting en sacristiën tegen beide zijden van de rechte koortraveeën.

Bakstenen gebouw onder zadeldak (leien). De traveeën zijn gemarkeerd door steunberen van twee versnijdingen met hardstenen afdekking. Baksteenfries onder de dakrand. Tweeledige, bakstenen spitsboogvensters met hardstenen sluitsteen en doorlopende, hardstenen lekdrempel. De toren telt drie geledingen onder ingesnoerde naaldspits (leien). De onderste geleding is voorzien van een spitsboogportaal in een geprofileerd, hardstenen omlijsting, waarboven een neogotische nis met beeld van Sint-Eligius; de tweede bouwlaag heeft een tweeledig spistboogvenster en een oculus; op elke zijde der bovenste bouwlaag een tweeledig, spitsboogvormig galmgat met oculus.

Bakstenen interieur. De westtravee is van het schip afgescheiden en voorzien van spitsboogvormige muuropeningen naar het schip toe. Houten tongewelf, de spanten gedragen door natuurstenen consoles. Het koor heeft een kruisribgewelf boven de rechte traveeën, een straalgewelf boven de koorsluiting.

Mobilair: Kruisweg, veertien staties op doek (tweede helft 19de eeuw). Processiemadonna (19de eeuw); beeld van Sint-Eligius, gepolychromeerd hout (midden 18de eeuw). Altaren, communiebank, preekstoel en biechtstoelen van 1886. Doopvont, hardsteen, gedateerd 1622. Twee wijwatervaten, hardsteen (eerste helft 19de eeuw). Neogotische muurschilderingen in het koor. Gedenksteen onder de toren met datering 1881.