Voormalig kasteel van het huis van Oranje-Nassau, omringd door een rechthoekige gracht, verwoest in 1599, heropgebouwd in de 17de eeuw en volledig aangepast rond 1900. Bescheiden regelmatige tuin (1 hectare) binnen de ringgracht rond 1830.

Het Oranjekasteel dankt zijn naam aan het huis van Oranje-Nassau, dat vanaf 1499 tot aan de Franse Revolutie de heerlijke rechten bezat over het stadje Zichem. Op een figuratieve plattegrond door Jacob van Deventer wordt het omwalde stadje getoond rond 1560, vóór het beleg en de plundering door Spaanse soldaten in 1578 en vóór het door de 'Staatsen' in 1599 opnieuw werd geplunderd en platgebrand. In samenhang met een pestepidemie betekende dit het einde van Zichem als stad. Aan de oostrand van het stadje, nabij de Maagdentoren die toen op een eilandje stond, lag het dubbel omgrachte kasteel, een complex volgens L- of Uvormig grondplan met twee of drie hoektorens. Het volgende beeld dateert uit 1650-1660. In het grote kaartboek van de abdij van Averbode dat in het Algemeen Rijksarchief wordt bewaard, wordt Zichem in vogelperspectief vanuit het noordwesten afgebeeld, met de Maagdentoren en het gehavende silhouet van het Oranjekasteel op de achtergrond. Boven de kasteelruïne verrijst een bevlagd torentje, mogelijk een teken van een op til of aan de gang zijnde heropbouw, die meestal in de 18de eeuw gesitueerd wordt.

Op de Ferrariskaart (1771-1775) én op de Primitieve kadasterkaart opgemaakt door Sablon in 1831, verschijnt het kasteel binnen een vierkant van iets meer dan één hectare, omgeven door een gracht, die overeenstemt met de oude binnengracht. De verdwenen buitengracht tekent zich nog kadastraal af in het grote weideperceel 120 (1,5 hectare) dat het geheel omsluit. Het kasteel is herleid tot een gebouw volgens L-vormig grondplan in de meest zuidelijke hoek van het 'eiland'. Op de (voor de Demerstreek onbetrouwbare) Ferrariskaart wordt een met bomen afgezoomde toegangsdreef afgebeeld; ook de buitenoever van de ringgracht is met bomen beplant en het kasteeleiland is onderverdeeld in zes vierkantjes: vijf bedden of parterres en, in de noordelijke hoek diagonaal tegenover het kasteelgebouw, een door hagen of kleine bomen omgeven vierkant (prieel, of 'groene kamer'?), dat ook op de Primitieve kadasterkaart nog een aparte voorstelling krijgt. Het hele tuincomplex is omhaagd.

Op de Primitieve kadasterkaart (1831) wordt voor het tuinperceel (nummer 124, groot 60 are 40 centiare) ook de aanlegstructuur gesuggereerd: een padenkruis achter de hoofdvleugel van het kasteel en drie langwerpige, parallelle bedden ten noordwesten, in het verlengde van de hoofdvleugel. In de legger wordt uitsluitend gewag gemaakt van "hof", wat normaliter voor moestuin staat. In 1897 registreert het kadaster een gedeeltelijke afbraak en een aanzienlijke verbetering ("amélioration notable") van het kasteelgebouw. Het huis is dan nog steeds in het bezit van de opvolgers van de Primitieve eigenaar: de familie Valvekens uit Diest. Van dan af worden ook de omschrijvingen "lustvijver" voor de ringgracht en "lusttuin" voor de strook langs de binnenoever van de ringgracht (perceel 123) gebruikt; de rest blijft "hof". In 1906 wordt nog een vergroting van het kasteel geregistreerd, die ongeveer tot de huidige, classicistisch aandoende vorm van het gebouw leidde: een eenvoudig langgerekt volume van twee bouwlagen onder een schilddak. Een driehoekig fronton en een balkon bekronen de ingangstravee, die in de linkerhelft van het gebouw staat opgesteld, in het verlengde van de toegangsdreef.

De eerste ons bekende foto, een in 1904 afgestempelde ansichtkaart, toont de toegangsdreef vanaf de huidige Kranenburgstraat met het kasteel in de verte. De kuipplanten met Yucca's suggereren welvaart en een goede staat van onderhoud, maar de tuinaanleg blijft beperkt tot binnen de ringgracht. Hiervan zijn ons geen beelden bekend. De dreefbomen – stamomtrekken van circa 250 centimeter (de omtrek wordt gemeten op circa 150 cm hoogte), de soort is niet met zekerheid uit te maken – zijn sinds lang verdwenen en de dreef is een gewone straat geworden, langs beide zijden door lintbebouwing ingesloten. Van de ringgracht zijn alleen de twee noordelijke armen bewaard gebleven. Het Oranjekasteel is van ver merkbaar door de hoge kruinen van een mammoetboom (Sequoiadendron giganteum) en een gewone moerascipres (Taxodium distichum), die ook al zichtbaar is op de ansichtkaart. Het domein kon niet worden bezocht.