Volgens een recent artikel zou er een Sint-Gerolf parochiekerk bestaan hebben van het tweede kwart van de 12de eeuw tot 1658. Doch volgens de klassieke opvattingen gebruikte de abdij tot in de 16de eeuw het koor voor de officies, afgescheiden van het schip, dienstdoende als parochiekerk. Van de voormalige tweebeukige abdijkerk van vijf traveeën, evenals van het abdijkoor bleven enkele schaarse sporen en de toren van 1732-34 bewaard. De huidige decanale kerk in neobarokstijl dateert van 1858-59 en is opgetrokken uit baksteen naar ontwerp van architect F. Cardon, iets meer noordwaarts dan de oude kerk. Restauraties in 1887 (voorgevel) en 1897 (toren) door L. Gildemyn, en verder in 1922 en 1967 (toren). Vanaf 1969 sporadische opgravingen.

De kerk werd gedeeltelijk gebouwd op de plaats van de oude abdijkerk van de belendende Norbertijnerabdij. Naar verluidt zijn er nog sporen bewaard van de oude kerk in de huidige kerk die iets noordelijker werd ontvouwd. In ieder geval getuigt een cenotaaf dat het graf van Ferdinand Lefevere de ten Hove onder de nieuwe constructie was terug te vinden. Het schip van de oude kerk zou als parochiekerk gediend hebben, het koor fungeerde als kerk voor de paters. Sporen van de zuidelijke muur van de voormalige kerk is nog zichtbaar in de meest noordelijke muur van de abdij. algemeen kan gesteld worden dat er ook archeologisch potentieel is rondom en in de kerk.