Gebouwd tussen 1884-90 in opdracht van het stadsbestuur met financiële tussenkomst van de Staat voor het in 1804 door Napoleon in het minderbroederklooster ingerichte museum.

Nadat de verzamelingen aldaar bedreigd waren door brand op stadswaag (1873) werd gezocht naar een meer geschikte ruimte voor de groeiende schilderijenverzamelingen (onder meer door talrijke legaten); uiteindelijk werd besloten tot de bouw van een museum in dit nieuwe stadskwartier. Uit de voor de uitgeschreven wedstrijd ingezonden ontwerpen werd dat van twee jonge Antwerpse architecten, J. Winders (1849-1936) en F. Van Dijk (1853-1939), laatstgenoemde voor de binneninrichting, verkozen.

Hierin werd duidelijk geopteerd voor een monumentale eclectische architectuur met spatieuse binneninrichting voorzien van indirecte verlichting. Een dergelijke "tempelachtige" opzet past geheel in de imposante 19de-eeuwse museumarchitectuur zoals die eerder werd toegepast voor de musea van Wenen, Dresden, München, Amsterdam (in opbouw).

Na de herinrichting van de benedenverdieping in 1921 onder leiding van architect F. Van Dijk, werd het museum in 1944 getroffen door een V-bom: niet alleen de binneninrichting, maar ook alle daklichten waren vernield; door te lange waterinsijpeling werd de toestand kritiek. Bovendien voldeed het gebouw niet meer aan de moderne museumfuncties. Een bibliotheek, een vergaderzaal (oostvleugel) en een cafetaria werden ingericht, terwijl op de bovenverdieping een documentatiezaal met schilderijen uit de reserve voor het publiek werd opengesteld (1973); 1976 met het oog op de grote Rubenstentoonstelling: gehele restauratie en herinrichting van het bouwvallige museum (nu volledig staatseigendom) onder leiding van architect W. Vansynghel. Gevels gereinigd en verstevigd, onder meer met stalen staven en slechte stenen vervangen, mozaïekvloer en dakbedekking volledig vernieuwd, klimaatregeling, kunstverlichting en branddetectie aangebracht en de binneninrichting werd aangepast.

Vrijstaand complex dat samen met de omgevende plantsoenen het gehele bouwblok inneemt. Aangezien de wandelpaden in oorsprong de verschillende ingangen met de straat verbonden, vormden gebouw en park een organische eenheid met monumentale hoofdingang aan de Leopold de Waelplaats.

Rechthoekig grondplan met vier vleugels, oorspronkelijk gegroepeerd rondom vier open binnenplaatsen (laatstgenoemde sinds 1927 ter hoogte van de bovenlichten dichtgemaakt).

Vier lijstgevels van witte natuursteen, Gobertange en Euville voor de lijsten en het beeldhouwwerk, op hardstenen sokkel vormende benedenverdieping; onder een complex van zadeldaken, beglaasde koepels en daklichten (indirecte verlichting).

Hoofdgevel, grotendeels van Euville, gemarkeerd door de brede, vooruitspringende en verhoogde portiek met arduinen buitentrap tussen lagere zijvleugels. Vier kolossale Korinthische zuilen en twee halfzuilen tussen per twee gekoppelde monumentale Korinthische pilasters, waarachter de trappenhuizen, dragen het klassieke hoofdgestel; trappenhuizen boven de daklijst gemarkeerd door de in 1905 op hoge voetstukken geplaatste bronzen tweespannen, gemend door de allegorische figuren, de Faam (Th. Vincotte); op de tussenliggende attiek zeven medaillons in bas-reliëf met de borstbeelden van: van links naar rechts Bolswert (A. Peeters), Floris (Duwaerts), Van Eyck (Ducaju), Rubens (J. Dupon), Metsijs (Ducaju), Quellin (F. Floris) en Appelmans (F. Floris), gescheiden door monumentale vrijstaande beelden, van links naar rechts Architectuur (L. Dupuis), Schilderkunst (E. de Plyn), Beeldhouwkunst (Ducaju), Grafische kunst (R. Fabri).

Op de benedenverdieping vijf geblokte rondboogpoorten, in de zijvleugels telkens geflankeerd door drie geblokte rondboogvensters; gevelvlak doorbroken door de als loggia uitgewerkte bovenverdieping, afgesloten door balustrades en gedeeltelijk geschraagd door Ionische zuilen. Tegen de roodbruin geschilderde achterwand borstbeelden van beroemde kunstenaars. Ten slotte werden twee monumentale beeldengroepen "de allegorie van de Faam" voorzien op de hardstenen sokkels aan de buitentrap; enkel deze van Mignon werd geleverd en aan de achterzijde van het Museum geplaatst als "Hulde aan A. Van Dijck".

Sobere zijgevels met op de benedenverdieping geblokte rondboogvensters ritmisch geordoneerd door oplopende lisenen met monumentale beelden: aan de Beeldhouwersstraat: de Egyptische Kunst (A. Van Beurden), Griekse Kunst (J. Pecher), Latijnse Kunst (Anthone), Arabische Kunst (H. Ducaju); aan de Schildersstraat van links naar rechts: Byzantijnse Kunst (J. De Braeckeleer), Gotische Kunst (F. Floris), Vlaamse Kunst (E. De Plyn) en de moderne Vlaamse Kunst (F. Deckers).

Zijrisalieten met buitentrappen, rondboogpoort met klassiek entablement, breed boogvenster en bekronende driehoekige frontons.

Achtergevel gemarkeerd door een centraal risaliet met korfboogpoort onder entablement en boogvenster tussen Ionische halfzuilen op de verdieping verhoogd boven de daklijst met het Stadswapen gedragen door twee schilddragers (G. Geefs); horizontaal geritmeerde zijvleugels met op de benedenverdieping geblokte rondboogvensters, afgewisseld met rechthoekige vensters; op de verdieping per twee gekoppelde smalle rechthoekige vensters. Onder de kroonlijst een mezzanino (1204).

Merkwaardige trapzaal, centraal gelegen achter de hal, ontworpen voor de schilderijen, die N. De Keyser in 1861 maakte voor de trapzaal in het oude museum ontworpen door P. Bourla. Zij stellen de hoogtepunten van de Vlaamse schilderkunst voor. Breed marmeren trappenhuis met twee vleugels, in het midden geschraagd door twee monumentale vrouwelijke figuren.

Bovenverdieping, oorspronkelijk hoofdverdieping, met axiale indeling; centraal de indrukwekkende Rubenszaal.

De kern van de rijke schilderijenverzameling bestaat uit een aantal monumentale werken, die in 1794 door de Fransen uit kloosters en kerken waren gehaald en naar Parijs gevoerd en die in 1815 terug naar Antwerpen werden overgebracht. Talrijke legaten, onder meer van F. Van Ertborn. Belangrijke verzamelingen van Vlaamse Primitieven, zestiende- en zeventiende-eeuwse (Rubens) werken. Sinds de Tweede Wereldoorlog werden ook talrijke werken van moderne meesters verworven.