De bochtige Kloosterstraat loopt vanaf de kerk, vroeger vanaf het kerkhof dat aan de kerk paalde, tot aan de Oudestraat. Ze is genoemd naar het hier gelegen, vroegere Agnetenklooster. Eertijds heette ze Achterstraat, namelijk van de Markt. Op de Ferrariskaart (1771-77) en in de Atlas van de Buurtwegen (1845) nog spaarzaam bebouwd. In laatstgenoemde bron is mogelijk een stadspomp aangeduid.

Aan de noordkant van de straat lagen vooral hoven en slechts enkele kleine huizen, zes in totaal, volgens het kadasterplan van 1845. De laatste twee aan het einde van de straat ten oosten werden in 1461 aan de armentafel geschonken door Mechtildis Goedens. Ze bleven bekend als armenhuisjes en verdwenen in de loop der tijd. Het huidige nummer 2 staat op de plek van het meest ten oosten gelegen armenhuisje.

Aan de zuidkant lagen volgens hetzelfde kadasterplan van 1845 enkele huizen in het begin en aan het einde van de straat. Al de rest van de grond was eigendom van het klooster Agnetendal.