Gelegen ten noorden van de Sint-Jansbrug waar sinds een onbekend tijdstip de grote tol namelijk de tol op internationale en interregionale handel werd geheven tot het einde van het Ancien Régime. Vervolgens diverse functies. In 1837 verkocht aan privé persoon met uitzondering van de begane grond. 1876: verkocht aan de stad. 1884: onderbrengen van stadsbibliotheek die tot 1884 was ondergebracht in het stadhuis. 1889- de jaren 1960: gelijkvloers ingericht als brandweerkazerne. Sinds 1986 leeg.

Huidig uitzicht is fasegewijs tot stand gekomen. De oudste kern bestaat uit twee 13de-eeuwse huizen, het grootste van circa 1200. Het tweede, het huidige hoekhuis werd waarschijnlijk gebouwd in de tweede helft van de 13de eeuw en staat duidelijk op een afsplitsing van het vroegere grotere erf. Het grootste huis, het latere Tolhuis is ongeveer 20 meter diep en 7 tot 8,40 meter breed, volledig opgetrokken van baksteen van een groot formaat en was ooit volledig onderkelderd. In de straatgevel bevond zich minstens één kelderdeur die via een trap toegang tot de kelder verschafte, achtergevel met twee keldervensters en lampnis.

Eerste kwart van de 15de eeuw: de kelder wordt grotendeels opgevuld, met uitzondering van het gedeelte tegen de achtergevel. Vermoedelijk verloor het gebouw toen zijn functie als privéwoning en werd het omgebouwd tot de "Grote Tol". De onderbouw van de straatgevel van Doornikse kalksteen en voorzien van twee grote poortopeningen, gaat misschien reeds tot deze verbouwing terug.

Circa 1470: bouwen van het zogenaamde "pijndershuisje" een lokaaltje van de scheepslossers van de Sint-Jansbrug.

1477-78: Pieter van Luxemburg, die op dat ogenblik de inning van de grote tol in leen hield, liet het pand verbouwen. Tot deze belangrijke verbouwing behoort het opvullen van het resterende deel van de kelder, de huidige ondertussen gerestaureerde straatgevel en het vervangen van één van de zijmuren van het oude "Steen" door een zuilenrij, die waarschijnlijk door houten wanden met poortopeningen was afgesloten, moest blijkbaar de circulatie van de te wegen en te belasten goederen in en uit het Tolhuis vergemakkelijken.

Na 1478: tot stand komen van gebouw links van eigenlijke Tolhuis.

1878-81: baksteengevel rechts van het Tolhuis naar ontwerp van architect L. Delacenserie (Brugge).

1879: geheel heropbouwen van eigenlijke Tolhuisgevel en "pijndershuisje".

1881: neogotische beeldengroep, die op de oorspronkelijke toestand teruggaat werd door M. Fonteyne (Brugge) uitgevoerd.

1918: architect H. Hoste (Brugge) krijgt ontwerpopdracht voor een boekenmagazijn aansluitend aan de naastliggende stadsbibliotheek. Dit voorstel opgevat in een toen voor hem kenmerkende kubistische vormgeving, werd niet aangenomen.

1930: smalle gevel met galerij op de hoek van de Spanjaardstraat in plaats van 17de-eeuwse gevel. Herbouwen van pand ernaast.

1996- : restauratie en herinrichting als Provinciale bibliotheek en informatiecentrum.

Hoekpand bij Spanjaardstraat van drie traveeën en drie bouwlagen onder zadeldak (leien) vervangt 19de-eeuwse lijstgevel. Verankerde bakstenen trapgevel (11 treden + topstuk) boven een hoge natuurstenen plint - deels nog oorspronkelijk. Rechthoekige muuropeningen met kozijnconstructies - op begane grond dubbel - gevat in Brugse travee, type I. Links ervan een galerij met steekboogarcade afkomstig uit Gent met smalle trapgevel omstreeks 1930 hier geplaatst. Galerij met steenhouwersmerken, te identificeren met J. Gaudre (Feluy). Rechts natuurstenen geveltje van de rijkepijnders, één travee en drie bouwlagen. Opgebouwd uit een poortingang onderaan met korfboog, een opengewerkte balustrade bovenaan en zeer hoge steekboognis met een s gedraaid rond de stam van een boompje aanzettend op kraagstenen voorstellend pijnders. Twee vensters met rijk maaswerk onder meer visblaas- en driepasmaaswerk. Op de borstwering een beeldenrij: Sint-Joris, Sint-Ambrosius en twee beelden van Sint-Jan. Een vooruitspringende aanbouw met een trap en fraai opengewerkt voorportaal; een zuil en twee consoles dragen een met veellobben versierde spits- en tudorboog. Hogerop naarboven toe versmallende nis met wapenschild van bouwheer, hogels, kruisbloem en geflankeerd door pinakels. Afgelijnd door opengewerkte borstwering. Eigenlijke tolhuisgevel van vier traveeën en drie bouwlagen onder zadeldak (nok loodrecht op de straat, tichelen). Puntgevel met kruisbloem als topstuk waaronder een geprofileerde kraagsteen die een beeldnis draagt. Constructie van Doornikse steen voor begane grond en Brabantse zandsteen voor verdieping en top. De begane grond is voorzien van twee grote korfboogingangen en een venster. Steenhouwersmerken te identificeren met J. Boulle en familie Nopere (Ecaussinnes). Verticaal gelede bovenbouw met Brugse travee, type I; kruiskozijnen en gekoppeld driepasmaaswerk als tweelicht en op borstwering. De twee traveeën brede trapgevel van drie bouwlagen onder zadeldak (nok loodrecht op de straat, tichelen). Verankerde rode baksteenbouw met gebruik van zandsteen voor tudorboog, kozijnconstructies op verdieping en ornamenten als kruisbloem, druiplijst en Brugs beertje. Brugse travee, type II, hier met doorgetrokken middenpenant, getrapte bekroning en driepasmaaswerk in boogvelden.