Vanaf 1435 werden de parochiekerken van Beerse en Vosselaar bediend door één pastoor, aangesteld door de Antwerpse Sint-Michielsabdij, verblijvend op het Hofeinde te Vosselaar; een rector (onderpastoor) bediende de kapelanieën in de Sint-Lambertuskerk; het rectorshuis stond op de plaats van de huidige pastorie. Toen Theodorus Norbertus Van de Velde in 1768 dit huis betrok liet hij de nodige herstellingen uitvoeren en een keuken bijbouwen; de abdij nam in 1774 de bouw van een nieuw stenen washuis met bakoven en een opslagplaats voor hout en turf voor haar rekening. In 1776 besloot Marcellus De Vos, toenmalige abt van Sint-Michiels, de parochie te splitsen en Van de Velde als eerste pastoor van de zelfstandige parochie Beerse te benoemen; tot 1821 was de pastoor van Beerse een witheer, nadien een seculier priester.

In 1776 bekostigde de abdij de bouw van een nieuwe pastorie; de oude dreigde, niettegenstaande de gedane herstellingen, in elkaar te storten. Een stuk grond van 36 roeden ten westen van het oude erf werd bijgehuurd en met een brede gracht omgeven; het westelijk deel van deze gracht verdween in 1858 voor de aanleg van de Bisschopslaan, de rest werd in 1960 gedempt; ook het mooie smeedijzeren toegangshek, de gemetselde brug en hagen van 1901-1904 verdwenen toen. In 1864-1867 werden onder leiding van provinciaal architect J. Van Gastel een aantal herstellings- en veranderingswerken uitgevoerd, het interieur naar de toenmalige mode gefatsoeneerd en een kleine stal aan de zuidzijde bijgebouwd. Zijn opvolger, architect P.J. Taeymans realiseerde in 1881-1882 eveneens een aantal herstellings- en verbeteringswerken; hij bracht onder meer de kordons aan onder de ramen. In 1968 werd de stal vervangen door het huidige zuidelijke bijgebouw. Restauratiewerken, onder meer huidige kleurstelling, werden in 1995 gestart onder leiding van architect D. Nagels.

Vrijstaande, voorheen omgrachte pastorie in classicistische stijl van 1776, omgeven door tuin aansluitend bij huidig gemeentepark; de vroegere voorgevel, nu achtergevel, bevindt zich aan de tuin. Rechthoekig dubbelhuis van zeven en drie traveeën en twee bouwlagen onder schilddak (nok parallel aan de straat, leien), in de middenas doorbroken door een dakvenster in houten omlijsting met vleugelstukken; aansluitende bijgebouwen, respectievelijk het voormalig washuis met bakoven, wellicht opklimmend tot 1774, van vier traveeën en één bouwlaag onder schilddak (nok parallel aan de straat, leien), aan de noordzijde en een annex met onder meer garage van 1968 onder plat dak, aan de zuidzijde. Sedert 1995 roodgekaleide bakstenen lijstgevels op hoge gecementeerde plint met getraliede keldergaten (in de straat- en zijgevel ten noorden) en steunberen (aan de zuidgevel).

Symmetrisch uitgewerkte gevels, geritmeerd door lange ankers, een omlopende bepleisterde daklijst en een houten kroonlijst. Rechthoekige muuropeningen in arduinen omlijsting; circa 1865 verlaagde vensters met hermetselde bogen; bovenvensters met arduinen middenstijl; bewaarde duimen van voormalige luiken; voordeur in strakke omlijsting met steektrap van vijf afgeronde treden, alles van arduin, onder bekronende arduinen plaat met gesculpteerd wapenschild van abt De Vos en jaartal 1776 in medaillon; achterdeur in geprofileerde arduinen omlijsting met oren en waterlijst, voorafgegaan door een steektrap van vijf arduinen treden met rechte smeedijzeren leuningen. Naar oud model vernieuwd houtwerk. Sporadisch aanwezige steenhouwers- of groevemerken.

De plattegrond vertoont een oost-west-georiënteerde middengang met salon en spreekkamer ten noorden, keuken, trapzaal en eetkamer ten zuiden; op de verdieping is de middengang noord-zuid georiënteerd met (slaap)kamers aan weerszijden. In de 19de eeuw aangepast interieur, evenwel met bewaarde 18de-eeuwse structuur, gewelfde kelders onder het hoofdgebouw (aan de noordzijde) en (herontdekte) 18de-eeuwse schoorsteenmantel in het salon.

Washuis/bakoven met gecementeerde, roodgeschilderde voorgevel en betraliede houten bolkozijnen.