Neoclassicistisch burgerhuis gebouwd naar een ontwerp door de architect Frans J.H. Bex uit 1847. Opdrachtgever was de ondernemer en politicus Jean Félix François (Jan) Van den Bergh-Elsen (Antwerpen, 1807-Antwerpen, 1885), zoon van de jeneverstoker Jean-Jacques van den Bergh-Aerts. Hij huwde met Henriette Elsen (°1814), dochter van de scheeps- en effectenmakelaar Henri J. Elsen. Hun dochter Henriette Mayer-van den Bergh zou na de dood van haar zoon Fritz het Museum Mayer van den Bergh oprichten. Jan Van den Bergh, reder-scheepsmakelaar (Van den Bergh Fils), bestuurder van de stokerij-brouwerij La Cloche (Van den Bergh & Cie) en consul van Griekenland, werd in 1862 verkozen tot senator voor het arrondissement Antwerpen, eerst van de Liberale en vervolgens van de Meetingpartij. Hij zetelde langdurig als provincieraadslid, gemeenteraadslid, en schepen van Antwerpen, en was in 1871-1872 waarnemend burgemeester.

Het hotel Van den Bergh-Elsen is representatief voor het rijpe oeuvre van Frans J.H. Bex, die verbonden was aan het Bestuur der Burgerlijke Godshuizen. Over de bouwprojecten die hij in deze functie tot stand bracht is weinig bekend. Als privé-architect realiseerde hij met name tijdens de jaren 1850 enkele voorname neoclassicistische woningen, en voerde verbouwingen uit aan meerdere van de meest prestigieuze patriciërswoningen in de stad.

Rijwoning oorspronkelijk met enkelhuisopstand, van vier traveeën, drie bouwlagen en mezzanine onder zadeldak. De bepleisterde en beschilderde lijstgevel, oorspronkelijk met schijnvoegen op de begane grond, beantwoordt aan een regelmatig ordonnantieschema, de bel-etage gemarkeerd door een fries. Horizontaal geleed door kordonvormende lekdrempels, legt de compositie de klemtoon op het linker zijrisaliet, waarin oorspronkelijk de rondbogige koetspoort. Verder registers van rechthoekige bovenvensters, in het risaliet geaccentueerd door geriemde omlijstingen, in de overige traveeën met geprofileerde dagkanten. Een klassiek hoofdgestel met gelede architraaf, mezzanino en vernieuwde kroonlijst vormt de gevelbeëindiging. Volledig verbouwde pui.