De kasteelsite is historisch uitermate belangwekkend als voorbeeld van een minstens tot de 16de eeuw opklimmende omwalde hoeve, ingeplant nabij de dorpskern van Uitbergen op een strategische plaats in de Scheldebocht aan een oude verbindingsweg naar Berlare/Zele en aangeduid op historische kaarten, die in de loop van de 18de eeuw evolueerde naar een zelfbedruipende omwalde buitenplaats met aangelegd park als eigendom van adellijke families. Daarenboven exemplarisch voor de verdere evolutie gedurende de 19de eeuw waarbij de functie van de site als zomerresidentie naar een kasteel met permanente bewoning verschoof. Deze functionele verschuiving ging gepaard met verbouwingen en uitbreidingen aan het domein, waardoor de buitenplaats onder de families de Kerchove d' Ousselghem, van den Steen de Jehay en Visart de Bocarmé, evolueerde tot een kasteel met neoclassicistisch voorkomen volgens 'entre cour et jardin'-principe, met zeer waardevolle landschappelijke parkaanleg en bijkomende aanhorigheden zoals conciërge- en hovenierswoning. Het parkdomein van het kasteel van Uitbergen is uitzonderlijk, uitermate belangwekkend en representatief voor een historisch gegroeid landschapspark. Geëvolueerd vanuit een minstens tot de 16de eeuw opklimmende omwalde site, substantieel vergroot in de 18de en 19de eeuw, voorzien van moestuinen, boomgaarden, Engelse tuinen, vijver en dergelijke tot een deels omgracht en ommuurd landschapspark in het begin van de 20ste eeuw. Het geëvolueerde park in landschapsstijl vertoont typische gebogen waterpartijen met centrale vijver, slingerpaden, een afwisseling van open gazons met vista's en gesloten bospartijen naast een aantal opvallende solitaire bomen. Het domein herbergt ook enkele kleine elementen van tuinarchitectuur waaronder een brug met jongere ijzeren leuningen en een achthoekig eendenhuisje in vakwerkbouw onder tentdak op het eiland. Twee ronde belvedères aan de oostzijde aanvankelijk met zicht op de Schelde bleven eveneens bewaard. De dendrologische collectie uit het begin van de 20ste eeuw van graaf Visart de Bocarmé is van groot historisch belang.

in casu architectuurhistorische waarde: Het kasteel van Uitbergen is architectuurhistorisch een representatief voorbeeld van een in meerdere bouwfasen tot stand gekomen kasteel met karakteristiek neoclassicistisch voorkomen met rechts aansluitende oude koetshuizen, dat in kern minstens tot de 18de eeuw opklimt en teruggaat op een nog ouder volume. Vanouds traditioneel een L-vormig gebouw dat naar een ontwerp van circa 1840 van de gerenommeerde Gentse architect Louis Minard volgens de gangbare mode in U-vorm werd gewijzigd door toevoeging van een rechterrisaliet. Deze verbouwing ging gepaard met een doordachte verbouwing in neoclassicistische stijl, waarvan de gevelafwerking met gepleisterde imitatiebanden, hoekkettingen, verdiept middendeel, beluikte rechthoekige vensters en centrale deur gevat in fijne hardstenen omlijsting deels onder accentuerende hardstenen kroonlijsten op consoles, omlopend hoofdgestel met gelede architraaf en fries met venstertjes, karakteristiek is voor deze bouwstijl. Deze kwalitatieve en verzorgde verbouwing met integratie van het 18de-eeuwse L-vormige volume getuigt tevens van de architecturale kwaliteiten van architect Louis Minard. De toevoeging in 1898-1899 van de neogotische huiskapel (nog vergroot in 1906) en de haakse vleugel aan de straatzijde door architect Joseph De Bosscher (Heusden) zijn een complementaire, weldoordachte, functionele en stilistisch aansluitende uitbreiding van het kasteel, kenmerkend voor de bouwperiode en bouwstijl en illustratief voor het vakmanschap van architect De Bosscher.

in casu interieurhistorische waarde: De interieurhistorische waarde van het kasteel van Uitbergen wordt bepaald door het merkwaardige interieur waarvan de binnenindeling, structuur en aankleding zowel elementen vertonen uit de 18de eeuw, de eerste en tweede helft van de 19de als uit de 20ste eeuw. Hierdoor vertoont het kasteel een mooie staalkaart van diverse bouwstijlen exemplarisch voor de stijlevolutie van directoire, empire tot neoclassicisme, neogotiek en eclecticisme. De gerestaureerde kapel toegewijd aan Sint-Antonius van Padua is exemplarisch voor een architecturaal hoogstaande neogotische huiskapel met verzorgd interieur gekenmerkt door fraaie wandpolychromie, beschilderd spitstongewelf en een neogotisch polychroom geschilderd houten altaar met voorstellingen uit het leven van de patroonheilige voor de familie van den Steen de Jehay vervaardigd in de Sint-Lucasschool van Luik.

De bewoningsgeschiedenis van de site wordt gekenmerkt door de aanwezigheid van adellijke families vanaf het derde kwart van de 18de eeuw (Terlinden, de Kerchove d'Ousselghem, van den Steen de Jehay en Visart de Bocarmé). Vanaf de tweede helft van de 19de eeuw namen de residerende kasteelheren ook het ambt van burgemeester op en bekleedden vanuit die functie en als lokale mecenas en grootgrondbezitter een belangrijke sociaal-culturele positie binnen de dorpsgemeenschap van Uitbergen. Vooral graaf Albert Visart de Bocarmé speelde een belangrijke rol voor de ontwikkeling van Uitbergen en de omgeving van Overmere (Donkmeer) en Berlare. De kasteelsite is daarenboven een visuele getuige van de vooraanstaande maatschappelijke en financiële positie van de kasteeleigenaars, die hen ook toeliet beroep te doen op vooraanstaande architecten zoals Louis Minard en De Bosscher om uitbreidingswerken te realiseren en om een dendrologische collectie aan te leggen en te onderhouden. De dendrologische collectie in het park vormt een historische eenheid met het kasteel.

in casu natuurwetenschappelijke en dendrologische waarde: De uitzonderlijke waarde van het kasteelpark wordt hoofdzakelijk bepaald door de landschappelijke aanleg en tal van belangrijke bomen die merendeels in het begin van de 20ste eeuw door eigenaar graaf Amédée Visart de Bocarmé, voorzitter van de Belgische Bosbouwvereniging, werden aangeplant. Aan dit arboretum met dendrologische collectie ontleent het park een grote historische en botanische erfgoedwaarde, die ook in de gespecialiseerde vakliteratuur wordt geroemd. De voornaamste bomen in het park zijn onder meer mammoetboom (Sequioadendron giganteum), Kaukasische spar (Picea orientalis), grijze walnoot(Juglans cinerea), zwarte walnoot (Juglans nigra), osagedoorn(Maclura pomifera), Perzisch ijzerhout (Parriotia persica), moseik (Quercus cerris), moeraseik(Quercus palustris), moerascipres (Taxodium distichum), suikeresdoorn (Acer saccharum), hickorynoot (Carya glabra), Amerikaanse es (Fraxinus americana), hickorynoot (Carya glabra ovata), Hongaarse zilverlinde (Tilia petiolaris), honingboom (Sophora japonica), Amerikaanse linde (Tilia americana), Japanse cipres(Cryptomeria japonica), zomereik (Quercus robur). Een zeldzame lladderiep (Ulmus laevisa) in het bosperceel palend aan het park wordt omwille van zijn grote wetenschappelijke waarde mee in de bescherming opgenomen. Fladderiep is zeer zeldzaam in Vlaanderen. Het betreft een zuivere vertegenwoordiger van een bijzondere soort (genenreservoir), met een mooie representatieve groeivorm. Het exemplaar te Uitbergen is een van de hoogste, dikste en oudste in de regio.