De eerste bidplaats was vermoedelijk een houten kapel, die in de tweede helft van de 18de eeuw vervangen werd door een kerk. Door de toenemende Mariaverering in de 15de eeuw werd Dadizele, waar de Heilige Maagd sinds lang vereerd werd, een populair bedevaartsoord. Circa 1400 was de kerk vervallen en nam het aantal bedevaarders in die mate toe, dat de bouw van een nieuwe kerk zich aandiende. De oprichting van het bedehuis startte in 1462 en nam de volledig tweede helft van de 15de eeuw in beslag. De kerk werd door brand verwoest tijdens de godsdienstoorlogen in 1580. Nadat de rust was teruggekeerd, werd ze in het eerste kwart van de 17de eeuw heropgebouwd.

In 1849 ontstonden, in het kader van de polemiek rond de dogmaverklaring der Onbevlekte Ontvangenis van Maria (1854), de eerste plannen om een nieuwe, grotere kerk ter ere van Onze-Lieve-Vrouw, te bouwen. Initiatiefnemer was de Brugse Bisschop Malou. In 1852 gaf hij de Engelse architect Thomas Harper King, die te Brugge verbleef, opdracht om de eerste schetsen te maken. Nadat de oude kerk in 1855 vervallen verklaard werd, kreeg de Engelse architect Eduard Welby Pugin de opdracht. De kerk werd gebouwd tussen 1860 en 1878 naar ontwerp van E.W. Pugin. De plannen van E.W. Pugin werden gedurende het werk meermaals gewijzigd onder leiding van de Kortrijkse architect P.N. Croquison. Na de dood van E.W. Pugin in 1875, namen de architecten J.B. de Bethune en A. Verhaegen de leiding. J.B. de Bethune nam de binnenafwerking voor zijn rekening, terwijl A. Verhaegen de glasramen ontwierp.