Kasteel met neerhof, gelegen in een park met deels dubbele gracht. Park aangelegd in landschappelijke stijl met overwegend kronkelende lijnen. Dubbele dreef populieren als noordelijke grens van het kasteeldomein en mogelijke dreef naar het kasteelgoed "Pathoeke" (verdwenen bij de aanleg van het zeekanaal).

Ontstaan als oude heerlijkheid en een leengoed van de Graaf van Vlaanderen. De eerste vermelding dateert van een charter van 1267 waarin staat "Adelisia uxor filii Willelm dicti de Berghe de Coolkercke".

Het kasteel kende in de loop van de geschiedenis verschillende eigenaars. Vóór 1390 was Jonkheer Jan Walhier de eigenaar. Hij verkocht het goed dat jaar aan de familie Van Rooden. Zo was in 1447 Lodewijk Van Rooden eigenaar. Cornelis Despaers kocht het goed in 1482 en acht jaar later wordt Jacques Despaers vermeld als eigenaar. In 1567 was Nicolas Despars de kasteelheer. Hij was eerste schepen en later burgemeester van Brugge. Hij overleed er in 1597.

In 1610 ging het domein door erfenis over aan de familie de Croeser de Berges. In 1701 was het kasteel in het bezit van Frans de Croeser, en zeker van 1777 tot 1783 van Charles de Croeser de Berges, heer van Ryne en Knokke.

Pas in het begin van de 19de eeuw ging het goed dan over aan de familie van Caloen de Basseghem, die tot op heden nog steeds eigenaar is.

Op 7 oktober 1490 werd het toenmalige kasteel ingenomen en platgebrand door de soldaten van graaf Engelbert van Nassau. Jacques Despaers liet het kasteel heropbouwen naar de vroegere toestand. Op de geschilderde kaart van Pieter Pourbus van 1571 staat het kasteel met onduidelijke configuratie afgebeeld.

In het begin van de 18de eeuw wordt het kasteel afgebeeld op een "Kaart van het gedeelte van het kasteelgoed Rosières genaamd, gelegen te Koolkerke, in de watering van Groot-Reigarsvliet, 157ste, 158ste, 159ste, 161ste begin, groot 52-0-87 gemeten, in het bezit van Barbara Delflye", getekend in 1715 door D. Van Woomen en gekopieerd in 1780 door I. Drubbele. Het "casteel goet jo.r decroeser genaemt t'goet ten berghe" verschijnt er als een groot herenhuis bestaande uit meerdere, haaks op mekaar staande volumes. Het geheel is omringd door water en bereikbaar via een brugje. Aan de straat staat een toegangspoort.

Op een "Caerte figurative" met grondplan van het kasteeldomein, opgemaakt in 1783, is het kasteel met park omwald door meerdere grachten. Veel van de gronden rond het domein zijn ingenomen door bomen of boomgaarden.

Op het primitief kadasterplan (circa 1835) en de kaart van Popp (1842) is enkel de configuratie van de koetsgebouwen anders confer de grondige verbouwingen van eind 19de eeuw.

In 1877 meldt het kadaster dat het bestaande kasteel "aangepast en vergroot" wordt, met andere woorden krijgt het kasteel in die periode haar neogotisch uitzicht. In de omgeving van Brugge werden in die tijd verschillende kastelen opgetrokken in neogotische stijl en vormden a.h.w. een aansporing om ook hier tot een verbouwing in die stijl over te gaan. De neogotische verbouwing en interieuraankleding van het kasteel "Ten Berge" is van de hand van de Antwerpse architect Joseph Schadde. Voor de transformatie van "Ten Berge", dat één van de eerste kasteelontwerpen van de architect is, creëert hij tevens een nieuw volume. Voorts baseert hij zich stilistisch duidelijk op de typische Brugse traveenissen, die overigens niet altijd 'correct' zijn toegepast.

In 1880 worden de bestaande gebouwen op het neerhof (huis, stal en koetshuis) bijna volledig afgebroken en in 1881 volledig herbouwd. Tevens wordt op dat moment een deel van de oorspronkelijke binnengracht ter hoogte van het neerhof gedempt. Een klein koetshuis dat in 1880 niet werd afgebroken, wordt in 1897 wel met de grond gelijk gemaakt en de vrijgekomen grond wordt opgenomen in de rondom liggende lusttuin. Het bestaande huis op het neerhof ondergaat dan een functiewijziging en wordt in het kadaster genoteerd als "koetshuis, huis en speelzaal". In 1910 worden de twee kleine stallingen achter het neerhof opgetrokken.

In de loop van 2003-2004 worden saneringswerken uitgevoerd aan het volledige kasteel in functie van de ingebruikname als bed & breakfast.

Het kasteel met neerhof is toegankelijk via een platte brug over de omwalling, eindigend bij een gekanteelde poort met natuurstenen rondboogdoorgang. Ten oosten situeert zich het omwalde kasteel, ten westen het voormalige neerhof, bestaande uit een conciërgewoning, een voormalig koetsgebouw, een 'paviljoen' en twee achterliggende stallingen. Het geheel is opgetrokken in oranje baksteen, gecombineerd met natuursteen voor de sierelementen, afgedekt door leien zadeldaken.

Kasteel. Toegankelijk via vierdubbele, platte boogbrug met figuratieve, ijzeren borstwering. Compact geheel van verschillende samengevoegde volumes gedomineerd door twee ongelijke, slanke torens. Vooraan rechts een kleine kasteelkapel op twee uitkragende rondbogen boven het water. Achterliggend volume met gekanteelde borstwering. Aan de achterzijde, indrukwekkend donjon vormend vierkant volume met arkeltorens en uitspringende dubbele borstwering.

Interieur. Vermoedelijk oude kern ter hoogte van de kelderverdieping. Totaalconcept voornamelijk in neogotiek en neorenaissance, doorgedreven in alle detaillering. In de kleine kapelruimte zijn brandglazen bewaard met datering 1627.

Voormalige conciërgewoning, koetsgebouwen en zogenaamd "paviljoen". Langwerpige constructie op L-vormige plattegrond en uitgewerkt in een eenvoudige historiserende stijl. Links het deel van de conciërge, geflankeerd door een elegante doorgang naar het achterliggend terras. De overige traveeën zijn ingenomen door de koets- en paardenstallingen. Uiterst rechts situeert zich het zogenaamde 'paviljoen' van twee bouwlagen hoog en voorzien van drielichten. Binnenin voormalig salon met wandbespanning (naar verluidt in de loop van de 20ste eeuw gevonden op de zolder van het stadhuis en door de vader van de huidige eigenaar geïdentificeerd als zijnde het kasteel "Ten Berge") waarop enkele vrije(?) voorstellingen van het kasteel.

Links van het geheel bevindt zich een kleine doorgang naar de voormalige boomgaard.

Stallingen met voorraadschuur. Twee parallel gelegen stallingen met bewaard houtwerk onder meer staldeuren. In het park is eveneens een ijskelder gegraven en een kleine gloriette gebouwd.