Het kasteel was de zetel van de graven van Rekem, rechtstreeks afhankelijk van het Duitse Rijk. De oorsprong dienst gezocht te worden in een Karolingisch vesting op deze plaats; in de 14de eeuw is deze vesting vervallen, en wordt circa 1350 vervangen door een ovaalvormige burcht met grote afmetingen; deze burcht wordt bewoond tot 1507 en raakt dan in verval. In 1597 bouwt graaf d’Aspremont-Lynden een zeer ruim waterkasteel in Maasrenaissancestijl, waarvan het nog bestaande gebouw slechts een deel is. In 1792 wordt het gebouw door de Fransen geconfisqueerd, ingericht als hospitaal en als dusdanig gebruikt tot 1795; in deze periode wordt het grote oorspronkelijke complex grotendeels afgebroken, op de nog bestaande gebouwen na. In 1809 wordt het kasteel in gebruik genomen als bedelaarsgesticht, later als psychiatrische instelling, functie die het tot voor enkele jaren nog vervulde. Het werd grondig gerestaureerd in 1857.

in casu architectuurhistorische en esthetische waarde: Enig voorbeeld van volledig in Maasrenaissancestijl gebouwd waterkasteel. Van het oorspronkelijke waterkasteel bleven vier vleugels bewaard, op elke hoek van een toren voorzien, gegroepeerd omheen een kleine binnenplaats. De verdwenen gebouwen strekten zich ten noorden en ten oosten van het huidige kasteel uit. De typische Maasrenaissance bouwwijze spreekt uit het gebruik van materialen (kalksteen en mergelsteen), uit de sterk horizontalizerende gevelordonnantie (ritmering door de kordonvormende, kalkstenen lekdrempels van de vensters; aflijning door middel van een zwaar entablement met medaillons en spiraalmotieven), de typisch kalkstenen kruis- en kloosterkozijnen, de bedaking van de torens (gebogen leien tentdak, waarop een vierkante, houten en met leien beklede constructie, op zijn beurt eveneens door een gebogen tentdak bekroond). De architectuur biedt eveneens een uitzonderlijke rijkdom aan fraai uitgewerkte details en onderdelen: mergelstenen schoorstenen en dakvensters, mergelstenen kroonlijst met fries van ruiten en medaillons, rijk geornamenteerde deur- en vensteromlijstingen, waarin het ganse gamma van de renaissancemotieven voorkomt (medaillons, spiraalmotieven, gebouchardeerde negblokken, fraaie druiplijsten, trigliefen en metopenfriezen, diamantkoppen).

de inplanting. Het gebouw met zijn omliggende groenzone neemt het volledige stadsgedeelte tussen de Kanaalstraat en Onder de Linden in, en is nog voorzien van een gedeelte van oorspronkelijke omgrachting (ten zuiden en ten westen). Zijn volume en markant gabariet bepalen in grote mate het uitzicht van het noordoostelijke stadsgedeelte.