De Visserskaai is de zuidelijke kaai aan de voormalige Zuidersluis, aan de noordelijke kant begrensd door de IJzerenpoortkaai. Beide kaaien zijn gekasseid, maar verloren verder hun karakter als kaai door het dempen van de Zuiderdokken en de Zuidersluis in 1969.

De Zuidersluis vormde de toegang tot de Zuiderdokken vanaf de Schelde. Deze werden geopend op 16 mei 1881 en vallen op door hun locatie in het zuiden van de stad: alle andere dokken werden in het noorden gegraven. De aanleg van de Zuiderdokken is te kaderen in twee zeer ingrijpende projecten uit het laatste kwart van de 19de eeuw, namelijk de rechttrekking van de Schelde tussen 1877 en 1883 en de aanleg van het Zuiderkwartier op de plaats van de gesloopte Citadel vanaf circa 1875. Een belangrijk onderdeel van de rechttrekking van de Schelde was het dempen van de vlieten. Dit waren de haaks op de Schelde in de stad stromende binnenhavens, die sinds eeuwen de aanlegplaatsen waren voor de binnenvaart. De nieuwe haven op de rechteroever van de Schelde was uitgerust voor de grote stoomschepen die via de Schelde Antwerpen bereikten. De binnenvaart kreeg een nieuwe locatie in het op dat moment in ontwikkeling zijnde zuidelijke stadsdeel. De inplanting van de Zuiderdokken was een belangrijk element in het programma voor de aanleg van het Zuid. De verschillende plattegronden die werden voorgesteld gaven telkens een andere vorm en ligging aan van de dokken: een tweeledig dok haaks op de Schelde, een dok in Y- of in T-vorm en dokken die evenwijdig met de Schelde lagen. Het laatste voorstel werd definitief gekozen en uitgevoerd in het ontwerp van de S.A. du Sud d’Anvers, dat op 18 september 1875 met een Koninklijk Besluit werd bekrachtigd.

De Zuiderdokken bestonden uit drie in elkaars verlengde liggende dokken evenwijdig met de Schelde, met een totale lengte van 779 m. Van noord naar zuid ging het om het Kooldok (1,23 ha), het Zuidschippersdok (1,74 ha) en het Steendok (1,13 ha). Ze werden centraal vanuit het Zuidschippersdok met de Schelde verbonden door de Zuidersluis. Twee bruggen maakten het spoorverkeer over de sluis mogelijk: de Schippersbrug over het bovenhoofd van de saskom, aan dokzijde, en de Cockerillbrug aan het benedenhoofd, aan rivierkant. Er liepen spoorwegen over deze bruggen, die zorgden voor het transport tussen Scheldekaaien en Zuidstation. De hoofdspoorweg lag op de Cockerillkaai en werd via de Cockerillbrug over het benedenhoofd van de sluis geleid. Wanneer dit open stond, liep het spoorverkeer vertraging op. Op dit probleem werd van bij het begin ingespeeld door in het stratenplan enkele trapeziumvormige bouwblokken te voorzien, waarlangs een tweede spoorlijn liep over het bovenhoofd van de sluis, langs de Waalsekaai.

Doorheen de hele 20ste eeuw was de schaalvergroting en de steeds verder noordwaarts gerichte uitbreiding van de Antwerpse haven een constante. Door deze enorme bloei verloren de Scheldekaaien en de Zuiderdokken steeds meer hun belang binnen de haveninfrastructuur. De Zuiderdokken raakten in de tweede helft van de 20ste eeuw verouderd en te smal voor grotere en bredere schepen. In 1967 werden ze buiten gebruik gesteld, twee jaar later werden ze gedempt. Van de Zuiderdokken is enkel de voorhaven van de sluis bewaard als duidelijk herkenbaar en afleesbaar relict. Deze inham in de kaaimuren meet 50 m bij 50 m. De inkepingen in de hardstenen kaaiwanden voor de sluisdeuren zijn nog duidelijk herkenbaar. De inham is met een eenvoudige ijzeren balustrade afgezoomd. Op de plaats van de gedempte Zuiderdokken werd nooit gebouwd. Het centrale dok is een braak liggend terrein dat vooral als parkeerplaats en als locatie voor de Sinksenfoor dienst doet. De vroegere Steen- en Kooldokken zijn ingericht als speelterrein.

Het terrein van de gedempte Zuidersluis, tussen Vissers- en de IJzerenpoortkaai, bleef ook een paar jaar onbebouwd, tot men hier in 1973-74 het Hof van Beroep en Arbeidshof bouwde naar ontwerp van de architecten Marc Appel en Jan Welslau. Dit enorme gebouw was een voorbode van de talrijke grote complexen die langs de kaaien zouden worden ingeplant op het einde van de 20ste en het begin van de 21ste eeuw. Jammer genoeg is het niet van dezelfde architecturale kwaliteit als een aantal privéprojecten. De volledige noordzijde van de Visserkaai wordt door het Hof van Beroep ingenomen. Aan de zuidzijde zijn nog een tweetal panden bewaard die een beeld geven van het begin-20ste-eeuwse karakter van de straat, bepaald door een combinatie van pak- en werkhuizen en meergezinswoningen met horeca op de begane grond. Zo is er nummer 8, een meergezinswoning die rond 1909 werd gebouwd voor Leo Van Coppenolle. En verder, op de hoek met de Waalsekaai, een typische eind-19de-eeuwse hoekoplossing bestaande uit een aantal neoclassicistische meergezinswoningen met handelsgelijkvloers.