Al in de 14de eeuw is er op deze plaats sprake van Huis De Valk, in de loop van de 18de eeuw gekend als herberg en brouwerij. Op de Ferrariskaart van 1770-1778 is de zuidzijde van de Kasteelstraat ingenomen door een ononderbroken lintbebouwing; aan de hand hiervan is dus niet op te maken hoe de bebouwing op dit perceel er uit zag.