Het voormalige college van de Hoge Heuvel werd gesticht in 1683 ter huisvesting van katholieke priesterstudenten uit de protestantse Republiek van de Verenigde Provinciën. De woon- en bouwgeschiedenis van de site klimt op tot rond 1400, toen het huis De Spiegel werd gebouwd. Naar de eigenaars van het domein tussen ca. 1500 en 1650 wordt dit pand ook wel huis ’t Sestich genoemd. De overige bebouwing dateert uit de 16de, 17de en 18de eeuw.