Er is reeds sprake van een pastorie in een akte van 1415, op dezelfde plaats als de huidige nabij het "Bystervelt". In 1636 bouw van een nieuwe pastorie, die omwille van bouwvalligheid in 1763 werd afgebroken en vervangen door een nieuwe, voltooid in 1764. In 1868 vernieuwing beplanking van de bovenverdieping, gedeeltelijk ook op de benedenverdieping (in de eetkamer en de zogenaamde grote en kleine zaal); vernieuwing van trap en marmeren schouwen. Diverse herstellingswerken in 1937 naar ontwerp van G. Careels. Oorlogsschade circa 1949 hersteld naar ontwerp van architect S. Van Craen.
Achterin gelegen omgracht domein met smeedijzeren toegangspoort tussen bakstenen pijlers. Onderkelderd dubbelhuis van vijf traveeën en twee bouwlagen onder zadeldak (nok loodrecht op de straat, kunstleien), opklimmend tot 1763-1764, doch met 19de- en 20ste-eeuwse aanpassingen (onder meer bedaking en kroonlijst).
Verankerde, doch sobere bakstenen lijstgevel met steekboogvensters in vlakke arduinen omlijsting en vernieuwde arduinen lekdrempels (20ste eeuw); bewaard houtwerk en luikhaken. Steekboogdeur in geprofileerde arduinen omlijsting met gestrekte tussendorpel. Gelijkaardige achtergevel. Tegen de noordelijke zijgevel arduinen pomplichaam (18de eeuw) met spiegelpaneel, koperen kraan en smeedijzeren zwengel. Gewelfde kelder (tongewelf); oorspronkelijke binnendeuren en dakgebint.
Lagere aanbouw links, heden met gelijkaardig uitzicht als hoofdgebouw; volledig afgebroken en herbouwd naar ontwerp van G. Careels van 1937.
- Administratie voor Ruimtelijke Ordening, Huisvesting en Monumentenzorg, Bestuur voor Monumenten en Landschappen, Provinciale Directie Antwerpen, dossier Onze-Lieve-Vrouwekerk Walem.
- Provinciaal Archief Antwerpen, Pastorieën, Walem, Onze-Lieve-Vrouw van Bijstand, dossiers 6, 7.
- COREMANS T., Bijdrage tot de geschiedenis van Waelhem, Mechelen, 1912, 184-186.