De stadskern van Damme wordt omsloten door een 17de-eeuwse aarden vesting met bastions, ravelijnen en grachten en bestaat uit een concentrische aanleg, kruisgewijs doorsneden door de historische Kerkstraat en door de vaart van Brugge naar Sluis. De bebouwing concentreert zich in hoofdzaak ten zuiden van deze vaart.

Op de hoofdas van de Kerkstraat, met behouden kassei-bestrating, bevinden zich de voornaamste gebouwen: stadhuis, Sint-Janshospitaal en de Onze-Lieve-Vrouwekerk. Zij beheersen het uitzicht van het stadje en bepalen in hoofdzaak de middeleeuwse sfeer.

De kleinschalige bebouwing van één of twee bouwlagen wisselt zich af met de sterk sprekende open ruimten van de tuinen. Opvallend zijn de zogenaamde muurstraten met een tracé gevormd door bakstenen tuinmuren (Brugstraat, Pottenbakkersstraat, Sint-Janstraat).

Kenmerkend voor het landelijk karakter van Damme, is de aanwezigheid van een aantal hoeven binnen de versterking. Twee hoeven liggen buiten het stadscentrum, maar toch binnen de vesting.