De pastorie, ten oosten aansluitend bij de Sint-Jacobskerk en het kerkhof, werd heropgebouwd in 1923-1924. Na de vernietiging tijdens de Eerste Wereldoorlog werden bij de wederopbouw de representatieve functies van het kleine dorp samengebracht rondom de kerk. Dat de beeldbepalende cluster van kerk, pastorie en school ontworpen is door dezelfde gemeentelijk architect, met name Camille Van Elslande (Veurne), versterkt de ensemblewaarde van de kleine dorpskern. Volgens een schatting van de oorlogsschade (augustus 1920, architect Antoine Dugardyn) was de vooroorlogse pastorie gemetseld in "baksteen der streek", en bestond het éénlaagse huis uit "een keuken, kelder, voutekamer, gang, salon en eetplaats". Rond de pastorie was een tuin met fruitbomen aangelegd.

Door de rangschikking van de kerkruïne met burgerlijk en militair kerkhof als oorlogssite in 1919 zouden de kerk en dus ook de pastorie van Sint-Jacobskapelle aanvankelijk niet heropgebouwd worden. De eerste twijfels hierover rezen in een brief van april 1922, waarin koninklijk commissaris Daniël de Haene (Dienst der Verwoeste Gewesten) toch pleitte voor de in situ-wederopbouw van de kerk, en ook verwees naar een ontwerp voor de pastorie "in eenvoudigen Veurne-Ambachschen bouwtrant" door architect Camille Van Elslande. Alhoewel de daaropvolgende maanden beslist werd tot de in situ-wederopbouw van de kerk, zou het nog tot de lente van 1923 duren eer de wederopbouwplannen voor de pastorie werden ingediend. Na de aanbesteding van april 1923, werd de pastorie heropgebouwd tussen juni 1923 en mei 1924.

De pastorie werd niet herbouwd naar model van de vooroorlogse pastorie, maar is geïnspireerd op het 17de- of 18de-eeuws huis van de Veurnse polderhoeve Het Speelhof, waarvan Eugène Dhuicque op 19 april 1917 foto's maakte, in het kader van de Mission Dhuicque. Dat de pastorie - afwijkend van de boerenwoning en van een eerste wederopbouwplan - in spiegelbeeld werd heropgebouwd, houdt mogelijk verband met het creëren van een zichtas vanaf het Sint-Jacobsplein en langs de school en het kerkhof op de opvallende opkamer met klokgevel.

Het uitgekiende ontwerp van Van Elslande keert terug naar de oudste vorm van de pastorie, met name de éénlaagse boerenwoning. De gelijkenis tussen de geelbakstenen wederopbouwpastorie, gevat onder pannen zadeldaken, en de boerenwoning van Het Speelhof is dan ook erg groot. De driedelige, trapsgewijze volumeopbouw met de streekeigen opkamer als hoogst gelegen ruimte werd volledig overgenomen. Ook de noordelijke zijgevel van de opkamer onder hogere nok werd herbouwd naar deze van de boerenwoning: klokgevel met inzwenkende belijning en getorst bakstenen topstuk. De overige zijgevels (de zuidgevel, de gevel van de haakse achterbouw en de gevels tussen de verspringende daken) zijn uitgewerkt als tuitgevel met aandaken en vlechtingen, en deels met sierlijke schoorstenen. Het dakvenster boven de deur refereert aan het laadvenster van de boerenwoning. De houten kruiskozijnen met kleine roedeverdeling en beluikte benedenvakken (verdiept in een steekboog en rustend op een bakstenen afzaat) zijn geïnspireerd op het venster zoals dit bewaard was in de opkamer van de boerenwoning, en werden veralgemeend toegepast. Bolkozijnen werden daarentegen beperkt tot de keldervensters.

Verfraaiende wijzigingen - zoals het centrale portaal met rondboogdeur en flankerende venstertjes verdiept in een rondboognis (met bakstenen druiplijsten en sierlijke klossen), het aedicula-nisje en schelpmotieven in geschaafde baksteen in de boogvelden - volgend uit de inpassing van de nieuwe functie als pastorie. Bovendien zijn de aedicula-nis en het gebruik van geschaafde baksteen kenmerkend voor Van Elslandes baksteenarchitectuur, geïnspireerd door de Vlaamse renaissance. Ook de sierankers vormen een toevoeging uit de wederopbouwperiode. Ook in de achtergevel is de driedelige, trapsgewijze volumeopbouw goed herkenbaar. De opkamer heeft een blinde achtergevel, waarboven het dakvlak is uitgewerkt met een hoge schoorsteen.

De voormalige pastorie bewaart gedeeltelijk de interieurindeling en -aankleding. Een schuin geplaatste hoekschouw, uitgewerkt met eenvoudige houten schouwlijsten met consoles, is bewaard. De houten trap is verzorgd uitgewerkt met trappaal met afgeschuinde hoeken en gedraaide trapspijlen.

De omringende tuin gaat terug op het historisch pastorieperceel zoals aangeduid op de Atlas der Buurtwegen (circa 1843). Een scheidingsgracht met oude knotbomen bakent dit perceel ten oosten af. Ten noorden van de pastorie is de boomgaard bewaard met onder meer appel-, peren- en pruimenbomen, en enkele grote, bolvormig gesnoeide buxussen. Het formele voortuintje - afgesloten met sierlijke ijzeren hekken tussen bakstenen hekpijlers - is aangeplant met lage, in vorm gesnoeide buxushaagjes, rozen en kruidachtigen.