De dorpskern van Duffel wordt gedomineerd door de Sint-Martinuskerk. Naast de kerk ligt de voormalige pastorie. Het betreft een wit bepleisterd en geschilderd gebouw van twee bouwlagen met leien schilddak uit het midden van de 19de eeuw. Deze pastorie heeft een grote tuin die aansluit bij het groen rond de kerk (voormalig kerkhof). Het pastoriegebouw is beeldbepalend omwille van zijn inplanting en volume.

Op het plein voor de kerk bevindt zich een oorlogsmonument. In 1994 werd het plein heraangelegd met nieuw aangeplante linden en een oude eik met boomkapel.

De bebouwing rond de kerk is uitgevoerd in de wederopbouwstijl uit de jaren 1920 met neorenaissance-invloed in eclectische trant. Deze bebouwing kadert bij de architectuur van de kerk en is bepalend voor het dorpsbeeld.

Tegenover de kerk bevindt zich Het klooster van het Convent van Betlehem (voormalig ziekenhuis). De gevel hiervan kan als afsluitingswand van het kerkplein opgevat worden.