De burcht van Stokkem werd gebouwd op een natuurlijke hoogte op de linker Maasoever, circa 1036. Zowel de graaf van Loon als later de prins-bisschop van Luik verbleven tot in de 16de eeuw vaak in de burcht. In 1361 sterft Diederik van Heinsberg, de laatste graaf van Loon in de burcht van Stokkem. De strijd om het graafschap Loon wordt in 1363 te Stokkem beslecht wanneer Godfried van Dalenbroeck na een beleg van vier weken verslagen wordt en de burcht in het bezit van de prins-bisschop komt. In het conflict tussen de familie de la Marck en prins-bisschop Jean de Horne wordt de burcht in 1485 ingenomen door Robert de la Marck ingenomen om zich te kunnen wreken op Maastricht waar zijn broer Willem d' Arenberg werd vermoord. In 1486 wordt het kasteel opnieuw ingenomen door de aanhangers van de la Marck. In 1515 wordt de burcht op bevel van prins-bisschop Erard de la Marck vergroot en hersteld. Hij kiest het kasteel als zijn verblijfplaats. De gravure van Peril (16de eeuw) toont de burcht in zijn intacte staat. In 1675 en 1678 nemen de Fransen het kasteel in; zij verlaten het in 1679 na het te hebben ontmanteld. Tijdens de Negenjarige Oorlog valt de stad in 1681 in handen van de Duitsers, die het kasteel versterken. In 1702 wordt de burcht door Franse troepen bezet; de belegerende Hollandse troepen beschieten de burcht met ongeveer 200 granaten, waardoor hij zo zwaar wordt vernield dat hij niet meer heropgebouwd kan worden. De resterende muren worden enkele dagen later opgeblazen. De gravure naar een tekening van Remacle Le Loup (circa 1738) toont de burcht, ruïneus, maar nog goed herkenbaar. Het grootste deel van de ruïne wordt in 1784 afgebroken en de materialen verkocht. Een deel van het materiaal wordt gebruikt voor de huizenbouw in Stokkem. De afbraak schijnt echter al vroeger aan de gang geweest te zijn, aangezien op de Ferrariskaart (1771-77) de burcht niet meer aangeduid staat. In 1878 koopt F. Caïmo, de Tongerse arrondissementscommissaris, de resten van de ruïne en bouwt er het huidige kasteel Carolinaberg, ter nagedachtenis aan zijn overleden vrouw Carolina de la Brassinne, dochter van de burgemeester. In 1979 wordt het kasteel gerestaureerd.

In het park van het kasteel bevinden zich de resten van de Beer en de Blauwmuur, die aan de voet van de burcht lagen en de oudste verdedigingswerken langs de Maas vormden. De Maas liep immers eertijds van Meeswijk via het Tugelaplein in de richting van de burcht en dan met een sterke oostwaartse bocht rond de stad; de Beer en de Blauwmuur, naar de kalksteen die erin gebruikt werd, dienden om de plaats van de sterkste drift te beschermen. In het park bevinden zich ook enkele resten van de burchtruïne, bestaande uit kalksteen- en mergelblokken.

Het door F. Caïmo in 1878 gebouwde kasteel in eclectische stijl is een vierkant gebouw van twee bouwlagen en twee traveeën in elke zijde onder mansardedak (kunstleien), met een ronde hoektoren van drie bouwlagen aan de zuidzijde. Bakstenen gebouw op hardstenen plint. Houten kroonlijst op modillons. Smeedijzeren sierankers, waaronder twee met de initialen S C. In de zuidwestgevel een gevelsteen met Belgisch wapen en opschrift L’UNION FAIT LA FORCE; in de noordwestgevel een gevelsteen met wapenschild van de familie Caïmo (?) en datering 1878. Getoogde, beluikte vensters in een mergel- en hardstenen omlijsting met hardstenen sluitsteen en lekdrempel, en bakstenen druiplijst.

Gelijkaardige deuren; de deur in de noordwestgevel heeft een bovenlicht met glas in lood waarin de initialen N D. De hoektoren is in de bovenste geleding voorzien van kantelen, een natuurstenen rondboogfries en een oculus; mergelstenen banden; smalle rondboogvensters met hardstenen lekdrempel en booglijst.

Achter het kasteel het koetshuis en de voormalige paardenstal van drie traveeën en één bouwlaag onder zadeldak (kunstleien). Witgeschilderde baksteen. Risaliet met driehoekig fronton in de middentravee en lisenen. Getoogde deuren in een geprofileerde, bakstenen omlijsting. Getoogde poort met erboven een oculus in hardstenen omlijsting.

Van de oorspronkelijke parkaanleg rest een monumentale beuk naast het kasteel.