De pastorie van Koersel draagt de sporen van verschillende bouwfasen, die minstens leiden tot de l7de eeuw, toen het gebouw blijkens de bronnen op basis van een bestaande constructie werd gemoderniseerd. Aan de modernisering herinneren in situ nog muurankers in de oude voorgevel, verwijzend naar 1655, de straatgevel heeft afgezien van een meerledige structuur ook nog twee bolkozijnen die naar dezelfde periode verwijzen. Abt de Salé van Averbode liet het gebouw moderniseren in de 18de eeuw en liet zijn wapen na op één van de schoorsteenboezems. In de late 19de eeuw werd het complex nog eens gemoderniseerd, kreeg de voorgevel zijn huidige verschijningsvorm, met gecementeerde gevels en nieuwe, laterale bijgebouwen.

De structuur van de site, zoals weergegeven in het 17de-eeuwse kaartboek van de abdij van Averbode, bleef goed herkenbaar. Van de omgrachting die pastorie en aanhorende tuin tot in de 19de eeuw omgaf bleef een depressie in de huidige tuin als herinnering bewaard. Het zuidelijke stuk van de tuin werd pas in de late 19de eeuw aangelegd op een gedeelte van de landbouwgronden die de pastorie site omgaven. De wijdere omgeving, die voor een groot deel onbebouwd bleef, wordt als vanouds doorsneden door de oude paden, waarvan de bij de pastorietuin aansluitende, door haagbeuk af geboorde kerkwegel een monumentale getuige vormt.

De pastorie is altijd één van de belangrijkste gebouwen van het dorp geweest; hiervan getuigen niet alleen de omvang van het pand, de uitgestrekte aanhankelijkheden en statussymbolen als de gracht, de aanwezige heraldiek en de tiendenzolder, maar ook de goed bewaarde kerkwegel, die de pastoriesite verbindt met de kerk in het centrum van Koersel. De site maakt niet alleen een deel van de dorpse identiteit uit, maar is ook een sprekende getuige van de macht van de abdij van Averbode, waarvan de parochie afhankelijk was.