Het straatgedeelte tussen de Nijverheidsstraat en de Scheldekant was aanvankelijk een onderdeel van de lage Dendermondse heirweg langs de Schelde. Straatbenaming ontleend aan de minstens sinds het vierde kwart van de 16de eeuw bestaande brouwerij en bijbehorende herberg "Het Pannen Huys" aan het Scheldeveer op de hoek van de Panhuisstraat en Scheldekant (zie kaart van F. Horenbault van 1583 en Ferrariskaart van 1771-1778). In de 19de eeuw bekend staand als cabaret, guinguette en herberg "In den Overzet". Verdwenen in de loop van de 20ste eeuw. Ten oosten van de Panhuisstraat tussen Dendermondsesteenweg en de Schelde vonden van 1960 tot 1984 belangrijke archeologische opgravingen plaats (zie dorpsinleiding). Het opgravingsterrein, de omgevende landbouwgronden en bebouwing wordt echter volledig prijsgegeven voor de aanleg van een waterwinningsgebied.