Vanouds belangrijke uitvalsweg, in het verlengde van de Befferstraat naar Nekkerspoel via de Nekkerspoelpoort, gebouwd in de 13de eeuw, gesloopt in 1812.

Benaming reeds vermeld in de 14de eeuw, vermoedelijk naar toenmalig hoekhuis "De Keizer". Specifieke rol van de Keizerstraat als overwegend residentiële straat gekoppeld aan de aanwezigheid van belangrijke paleizen, namelijk van Margareta van York en Margareta van Oostenrijk; religieuze en maatschappelijke instellingen, namelijk Sint-Julianusgasthuis, jezuïetenkerk en -klooster en het Onze-Lieve-Vrouwegasthuis.

Naast deze historische gebouwen zijn een aantal kernen recent gesloopt (nummer 18) of, in het kader van de verruiming van het Gerechtshof tijdens 1979-1980, in blok deels heropgebouwd, gedeeltelijk met hergebruikt materiaal, zie nummers 22 (16de-eeuws), 24, 26 (1626), 30, 32 en 34-36. Straatbeeld thans ook gekenmerkt door groeiende handelsfunctie met daartoe aangepaste oudere kernen (onder meer nummers 8-10, 25, 44, 46, en 48); voorts, 19de- en begin 20ste-eeuwse lijstgevels met vrij eenvoudige gevelordonnantie (zie nummers 23, 52, 54, 62 en 68), waarvan bij sommige de begane grond recent verbouwd werd tot moderne winkelpuien (onder meer nummers 6, 17 en 40). Nummers 70-72 zie Hoogstratenplein nummer 1-2.