De site van het Leuvense stedelijk museum M omvat de resten van twee voormalige universiteitscolleges, het Sint-Ivo- en Savoyecollege, en een overblijfsel van het gebouw van de oude Artesfaculteit, de Vicus Artium. Na de opheffing van de universiteit door het Franse bestuur in 1797 kenden de gebouwen een bewogen geschiedenis van afbraak, verwoesting, heropbouw, nieuwbouw en wisselende bestemmingen.

Het voormalige Sint-Ivocollege huisvestte van 1830 tot aan de Eerste Wereldoorlog de handelsrechtbank en het vredegerecht. In de gebouwen van de Vicus Artium was vanaf 1830 de rechtbank van eerste aanleg ondergebracht. Tijdens de Eerste Wereldoorlog werd het Sint-Ivocollege ernstig beschadigd, terwijl van de Vicus Artium enkel de classicistische portiek overeind bleef. Het gedeeltelijk heropgebouwde Sint-Ivocollege bood na de Eerste Wereldoorlog onderdak aan de Stedelijke Academie voor Schone Kunsten, waarvoor in 1937 een vleugel haaks op het oude collegegebouw werd aangebouwd. Achter de portiek van de Vicus werd de nieuwe stedelijke bibliotheek gebouwd. Tussen de academie en de bibliotheek werd een binnentuin aangelegd, omrand door de nieuw opgestelde 18de-eeuwse colonnade uit het verwoeste Drieuxcollege. In de binnentuin stond de sculptuur 'De menselijke krachtinspanning' (1937) van beeldhouwer Oscar De Clerck opgesteld. De sculptuur verwijst naar de wederopbouw van Leuven na de verwoesting van de Eerste Wereldoorlog.

De gebouwen van het vroegere Savoyecollege werden in 1858 verworven door Leopold Vander Kelen, wijn- en likeurhandelaar en burgemeester van Leuven van 1872 tot 1895. Wat overbleef van de westelijke vleugel van het college werd verbouwd tot het neoclassicistische woonhuis van de familie Vander Kelen-Mertens. In 1920 werd hier het stedelijk museum Vander Kelen-Mertens ondergebracht, de opvolger van het stedelijk museum dat sinds 1823 in het stadhuis was gehuisvest. Wat nog overbleef van de noordelijke vleugel van het college aan de Savoyestraat werd in 1924 afgebroken. Onder conservator Victor Demunter werd het huis Vander Kelen-Mertens in 1928 en 1937 uitgebreid met bijkomende zalen om de omvangrijke museumcollectie te herbergen.

De volledige site werd hertekend voor de bouw (2004-2009) van het nieuwe stedelijk museum M, een ontwerp van architect Stéphane Beel. De bibliotheek uit 1937 werd afgebroken voor het nieuwe museumgebouw dat ook de tuin tussen de academie en de bibliotheek inpalmde. De portiek van de Vicus is sindsdien de hoofdtoegang van het nieuwe museum.