Oudste vermelding als Cleyne Ghelmen (1365). Gelegen in Droog-Haspengouw; golvend landschap (80-120 meter). Het zuidelijk deel is het hoogste: hier overweegt het open field-landschap met akkers; het noordwestelijk deel, aan de kerk, is lager, hier vormt de Herk een vochtige vallei. De oudste bewoningssporen klimmen op tot de prehistorie. Links van de weg, die van Klein- naar Groot-Gelmen leidt, bevond zich een Romeinse of Frankische grafheuvel, die in de archieven meermaals vermeld wordt als Cleyngelmische tommeke, en in 1898 werd afgegraven, waarbij men een skelet ontdekte, enkele kleerknopen en een ilexbijl.

Mogelijk is Gelmen de villa Galmina, die Otto I aan de Onze-Lieve-Vrouwekerk van Aken schenkt, en in 966 in het bezit komt van graaf Immo. Klein-Gelmen is waarschijnlijk vóór de 11de eeuw ontstaan door een uitbreiding van Galmina, dat later de naam Groot-Gelmen kreeg. Klein-Gelmen behoorde tot het persoonlijke domein van de graven van Loon. Het wordt in 1079 door gravin Ermengardis aan het kapittel van de Sint-Bartholomeuskerk te Luik geschonken. Na 1366 komt het in bezit van de Bisschoppelijke Tafel van Luik; de prinsbisschop oefende er de heerlijke rechten uit. Op het grondgebied bevond zich een Loons laathof, in 1365 in handen van de familie van Gothem.

Klein-Gelmen ressorteerde, samen met Gelinden, Engelmanshoven, Groot-Gelmen en tot 1618 ook Mechelen-Bovelingen onder de schepenbank van Gelinden; het beroepshof was het Oppergerecht van Vliermaal. Ieder dorp was een gemeynte en had twee mombers of dorpsmeesters, vanaf circa 1550 jaarlijks aangesteld.

In 1697 legert de cavalerie van de Verenigde Provinciën in Geldenaken; verschillende regimenten onder generaal graaf d'Althone plunderen en verwoesten op 8 oktober Klein-Gelmen. In 1713 kampement van dragonders.

Klein-Gelmen maakte deel uit van de parochie Gelinden. De kerk was een quarta-capella van die van Gelinden. Archivalische bronnen vermelden reeds een kapel in het jaar 1000, toegewijd aan Onze-Lieve-Vrouw en Sint-Eligius. Zoals de moederkerk behoorde de kapel toe aan het Sint-Maternuskapittel van Luik. De tienden behoorden voor één derde aan het Sint-Maternuskapittel en voor twee derden aan de proost van de Sint-Lambertuskathedraal te Luik. De rector van de kapel werd door het Sint-Maternuskapittel benoemd. In 1796 werd Klein-Gelmen afgescheiden van de parochie Gelinden en bij de parochie Heers gevoegd. In 1835 werd het een zelfstandige parochie.

Klein-Gelmen was steeds een landbouwdorp; thans legt men zich voornamelijk toe op fruit- en suikerbietenteelt. Meer dan de helft van de actieve bevolking is forens.

De nederzetting ontstond waarschijnlijk bij de Herk en de bron van de Winterbeek, één van de beken die in de Herk samenvloeit. De voormalige dorpsstraat, thans Daalstraat, en het verlengde, Groene Schild, vormden een onderdeel van de oude weg van Sint-Truiden naar Luik. Deze verbinding verloor haar belang bij de aanleg van de nieuwe steenweg van Sint-Truiden naar Luik in 1717, die parallel ten zuiden van de oude Luikerweg loopt. Aangezien deze steenweg vrij ver van het dorpscentrum ligt, had hier geen verschuiving van de bebouwing plaats, zoals bijvoorbeeld in Heers. Behalve het ontstaan van de nieuwe verbinding van de Daalstraat met de Steenweg (Kiezelstraat), gebeurden in het stratenpatroon vrijwel geen wijzigingen. De bebouwing concentreert zich rondom de Daalstraat en de Klein-Gelmenstraat, wat het dorp het uitzicht van een hoopdorp geeft, gedomineerd door een paar grote, gesloten hoeven.

Groene Schild was voorheen een volledig geïsoleerd gehucht, ten zuidoosten van de dorpskern, dat thans door lintbebouwing langzaam met het centrum verbonden raakt; in de 18de eeuw bevonden zich hier twee grote hoeven, waarvan slechts één bewaard bleef. Recente lintbebouwing ook aan de Kiezelstraat en de Steenweg.

In 1970 werd Klein-Gelmen gefusioneerd met Groot-Gelmen. Bij de fusies van 1977 werd het bij Heers gevoegd.

Oppervlakte: 308 hectare. Aantal inwoners: 432 (1970).