Op de kabinetskaart van de Ferraris wordt de Onze-Lieve-Vrouwkapel al aangeduid op een driehoekig perceel waar verschillende wegen samenkomen. De kapel lag ten westen van de dorpskern van Kasterlee, aan de rand van het landbouwareaal, op de grens met de Hoge Heide. Op de Atlas der Buurtwegen vormt het pleintje met de kapel een kruispunt van wegen en onverharde voetwegen, onder andere uit de heide. Vanaf de 20ste eeuw geraakte de omgeving van de kapel meer verkaveld. Door de aanleg van de steenweg tussen Lichtaart en Poederlee werd het driehoekig perceel doormidden gesneden en de omgeving van de kapel gereduceerd tot een smal perceel tussen twee wegen. Het deel ten zuiden van de steenweg bleef een groene open ruimte.

De kapel ligt vandaag op een licht verheven, driehoekig pleintje, de ‘Kapellekensberg'. De straatnamen Zandstraat en De Bergen verwijzen nog naar de oorspronkelijke ligging van de kapel aan de rand van de zandige heide. Ten zuidwesten van de kapel loopt de Boervenneweg, een onverharde weg, naar de voormalige heide, nu bosgebied. Op het kapelhof staan enkele opgaande bomen. Langs het gekasseide toegangspad staan een rij naaldbomen en een rij bruine beuken. Het perceel ten zuiden van de kapel is een grasveld met een rij opgaande groene beuken en 1 robinia.