Stichter van het augustijnenklooster was Gerardus baron van Huls alias van Taxis († 1654). Zijn vader was afkomstig van Bree, hijzelf streed aan de zijde van de keizerlijke troepen in de Dertigjarige Oorlog. Hij werd in de adelstand verheven, was in 1631 kolonel in het keizerlijke leger en woonde achtereenvolgens in Bohemen en Wenen. Hij wenste de oprichting van een college in Bree, wat later gecombineerd werd met de oprichting van een augustijnenklooster. Met de bouw van het klooster wordt begonnen in 1657; in 1659 betrokken de kloosterlingen de nieuwe gebouwen. Het oudste gedeelte van het klooster had een T-vormige plattegrond en omvatte op de begane grond een kloostergang met enkele klaslokalen en een refter voor de geestelijken; op de verdieping bevonden zich eveneens klaslokalen en de slaapzaal en kamers van de paters. In 1661 werd een kapel bijgebouwd aan de zijde van het Vrijthof. In 1710 werd een nieuwe kloostergang in het noorden bijgebouwd, en in 1712 één aan de zijde van het Vrijthof. In 1714 werd begonnen met de bouw van de huidige kapel, toegewijd aan Nicolaas van Tolentijn; de bouw duurde tot 1720. In 1797 werd het klooster door de Fransen opgeheven; de gebouwen werden geconfisqueerd en in gebruik genomen als kazerne en stadsmagazijn. Onder het Hollands bewind werd het klooster gebruikt als kazerne voor de gendarmerie; het is dan eigendom van de gemeente. Van 1865 tot 1874 was het stadscollege. In 1874 werd er een rijksmiddelbare school in ondergebracht, die in 1884 werd afgeschaft. Monseignieur Doutreloux, bisschop van Luik, kocht de gebouwen en maakte er het Sint-Michielscollege van. In 1898 werden er kamers voor professoren en een grote zaal bijgebouwd. In 1992 kreeg de stad Bree voor 75 jaar een erfpacht op het gebouw.

Restauratie in 1996-97 door architect E. Martens (Maaseik), waarbij alle later toegevoegde bouwonderdelen verwijderd werden. Op dit ogenblik is de restauratie van het interieur van de kerk aan de gang, door dezelfde architect.

Het klooster is een grosso modo rechthoekig complex, met ten westen de kapel en ten oosten het aanleunende kloosterpand. Achter het kloosterpand aan de noordzijde werd een vleugel toegevoegd, die aan de oostzijde uitsteekt ten opzichte van het volume van het kloosterpand. In de 18de eeuw (Ferrariskaart, 1771-77) bevonden zich bovendien nog een vleugel aansluitend bij dit gedeelte langs de huidige Augustijnenstraat, en één haaks op het midden van de oostgevel van de oostvleugel van het pand; laatst genoemde vleugel bestond nog in de eerste helft van de 19de eeuw (Atlas van de Buurtwegen, 1845), de andere was toen reeds verdwenen.

De zuidvleugel aan het Vrijthof telt negen traveeën en twee bouwlagen onder zadeldak (leien). Bakstenen gebouw met lijstgevel op recente hardstenen plint. De vleugel heeft een duidelijke bouwnaad in de zesde travee. Houten kroonlijst op houten consoles; hieronder, mergelstenen steigergaten. Rechthoekige, smeedijzeren muurankers met een krul in het midden. Rondboogvensters in een geblokte, natuurstenen omlijsting (oorspronkelijk ?). Neobarok rondboogportaal in een rechthoekige, geblokte hardstenen omlijsting met druiplijst en hardstenen tussendorpel. Erboven een rondboognis in een rechthoekige, hardstenen, geblokte omlijsting, met Sint-Michaëlbeeld.

De oorspronkelijke noordvleugel is eveneens voorzien van rondboogvensters, hier van baksteen met mergelstenen aanzetstenen en sluitsteen.

De westvleugel en de bij de noordgevel aansluitend vleugel dateren uit dezelfde periode, en werden opgetrokken in dezelfde stijl, met name de Maasstijl uit het eerste kwart van de 18de eeuw; het zijn de vleugels die in 1710-12 aan het klooster werden toegevoegd. Het zijn breedhuizen van respectievelijk tien en elf traveeën, en twee bouwlagen onder hoge schilddaken (leien). Bakstenen gebouwen met lijstgevels op een recente hardstenen plint. Houten kroonlijsten op geprofileerde consoles, waartussen mergelstenen steigergaten. Rechte, smeedijzeren muurankers met een krul in het midden. Kruiskozijnen in een kalkstenen omlijsting met negblokken in regelmatig verband; doorgetrokken dorpels; een groot aantal bij de restauratie gereconstrueerde onderdelen; strekse ontlastingsboog; het glas in lood dateert waarschijnlijk van de restauratie. Rechthoekige deuren in een gelijkaardige omlijsting, onder een hoog, tweeledig bovenlicht. Rondboogvormige zolderluiken in een mergelstenen omlijsting, sommige enkel, andere dubbel, in een puntvormige gevelverhoging met mergelstenen afwerking.

De barokke kloosterkerk (1714-20) is een zaalkerk van zes traveeën, met een driezijdige koorsluiting. Bakstenen gebouw onder zadeldak (leien), voorzien van rondboogvensters in een geprofileerde, bakstenen omlijsting. Het koor heeft vlakke baksteenpilasters op de hoeken. Klokkenruitertje met peerspits op de laatste travee.

De voorgevel is een pilastergevel met in- en uitgezwenkte geveltop. Hoge kalkstenen plint; verhoogde begane grond. De gevel wordt geritmeerd door vier bakstenen pilasters met kalkstenen, Ionisch kapiteel, en twee mergelstenen lijstkapitelen. De geveltop heeft een horizontale ritmering door de hardstenen banden. Rondboogportaal in een geblokte, kalkstenen omlijsting met sluitsteen, waarop het jaartal 1717; erboven een driehoekig fronton; in de mergelstenen timpaanvulling, de voorstelling van een brandend hart. Boven het portaal een hoog rondboogvenster in een geprofileerde, mergelstenen omlijsting. Op de penanten, aan weerszijde van het portaal telkens een mergelstenen rondboognis in een rechthoekige omlijsting met uitgespaarde zwikken, op een sokkeltje, en bekroond door een klein driehoekig fronton; geprofileerde omlijsting, en schelpmotief binnen in de nis.

De onderste geleding van de geveltop is voorzien van een oculus in geprofileerde, mergelstenen omlijsting, geflankeerd door twee baksteenpilasters, met driehoekige, mergelstenen bekroning met rankwerk. Hierboven een mergelstenen rondboognis in een geprofileerde omlijsting met voluten, en schelpmotief binnen in; erboven een mergelstenen gevelsteen met het chronogram: DEO ATQVE NICOLAO/ TOLENTINATI/ TAVMATVRGO (1718); erboven weer een driehoekig, mergelstenen element.