De pastorie van de Sint-Martinusparochie is beschermd als monument. Het gebouw werd in 1917 herbestemd als dekenij. De bescherming omvat het hoofdgebouw van zeven traveeën, de koetshuizen, de dienstwoning, het gemakhuisje, alle andere bijgebouwen en de pastorietuin aan de straatzijde met omheiningsmuren en hekken. De ommuurde pastorietuin naast en achter de pastorie werd samen met de dorpskom van Zomergem beschermd als dorpsgezicht op 10 november 1995. De pastorie met ommuurde voortuin en bijgebouwen maakt geen deel uit van deze bescherming als dorpsgezicht.