Het Kasselrijhuis of voormalig bisschoppelijk college is beschermd als monument.

Deze bescherming dateert uit 1986. Eerder, in 1950, werden de gevels reeds beschermd als monument.

De Koninklijke Commissie voor Monumenten en Landschappen (KCML) bracht een advies uit waarbij de historische en artistieke waarde van het pand als volgt werd gemotiveerd:
"de historische waarde als oud kasselrijgebouw van Oudenaarde dat een interessante bouwhistoriek vertoont en uiteindelijk in het begin van de 18de eeuw zijn huidige rijk classicerende barokvorm kreeg.
de artistieke waarde van de waardevolle interieurs die voor het Oudenaardse uniek zijn; deze interieurs zijn versierd met barok- en rococodecoratie in stucwerk, vertonen schouwen en trappen, en vooral in de eetkamer nog goed bewaarde 18de-eeuwse muurschilderingen met voorstellingen van diverse landschappen."