Het kasteel was de residentie van de heren van Voort, achtereenvolgens de families de Voerde (14de eeuw), van Malborch (1510), de Cockin alias van Voort (1565), de Sottelet (1733), Marguerithe Lefebvre (1760), de Thiribu (1762) en de Schoonhoven d'Aerschot (1778). In 1868 kocht Victor de Tornaco de Beghein het kasteel van graaf Guillaume d'Arschot. In 1960 laat Raymond de Tornaco het domein na aan zijn dochter, burggravin Philippe de Hardy de Beaulieu. Het is thans in het bezit van deze familie.

Het kasteel is gelegen in een zeer mooi park, dat vrijwel de hele vallei van de Herkbeek op het grondgebied van Voort beslaat. Het is aangelegd in Engelse stijl, de voormalige slotgracht werd omgevormd tot vijver. Een aantal merkwaardige, oude bomen, onder meer beuken, eiken en platanen. Toegang aan de zijde van de Romeinse Kassei via een smeedijzeren hek met initialen T B (Tornaco de Beghein) tussen geblokte, hardstenen pijlers; een tweede ingang tussen dito pijlers aan de zijde van de Benaetsstraat.

De oudste voorstelling van het kasteel is die op de Ferrariskaart (1771-77). Het eigenlijke kasteel is een U-vormig gebouw, met aan de westzijde de dienstgebouwen rondom een gesloten erf, met poortgebouw ten noorden; het geheel is aan de oost- en westzijde omgracht. In het noorden bevindt zich de Franse tuin, in het zuiden de omgrachte hovingen.

In de Atlas van de Buurtwegen (1844) behield het kasteel deze vorm; het park heeft thans zijn aanleg in landschapsstijl, waarin de voormalige slotgracht omgevormd is tot vijver. Ten westen, achter het voormalige neerhof staan twee grote dienstgebouwen. Laatstgenoemde ontwikkelen zich in de loop van de tweede helft van de 19de eeuw tot een tweede neerhof met pachterwoning. In de tweede helft van de 19de eeuw verdwijnt de oostvleugel van het neerhof, met de aansluitende haakse vleugel ten noorden, naast het poortgebouw.

Het eigenlijke kasteel wordt in november 1943 door brand verwoest. Het wordt niet meer heropgebouwd, zodat alleen de dienstgebouwen bewaard bleven.

Het eigenlijke, thans verdwenen kasteel was, te oordelen naar de bewaarde foto's, een U-vormig, classicistische gebouw uit het derde kwart van de 18de eeuw, twee bouwlagen onder schilddak (leien). Het bevond zich ten noordoosten van de nog bestaande gebouwen.

Van het oude neerhof, dat naast de gebruikelijke dienstgebouwen ook een brouwerij omvatte, is alleen het poortgebouw bewaard. Het draagt op een gevelsteen de wapens van Voordt en Schaloen en het jaartal 1590; het werd gebouwd door Edmond van Voordt en zijn echtgenote Catherina van Hulsberg, bijgenaamd Schaloen; kasteel en heerlijkheid waren door huwelijk in 1534 in het bezit gekomen van Laurens de Cockin van Luik, die zich vanaf die periode "van Voordt" noemde; Edmond van Voordt was zijn zoon. Het poortgebouw bevindt zich aan de noordzijde van het voormalige neerhof. Door afbraak van het ten oosten aansluitende gedeelte van de noordvleugel kwam het poortgebouw aan deze zijde vrij te staan; er werd in een recente periode een kennel tegenaan gebouwd. Het gebouw telt drie bouwlagen onder tentdak (leien). Het werd sterk gerestaureerd, zodat de authenticiteit van de onderdelen niet met zekerheid is te achterhalen. Het is een bakstenen gebouw, afgewerkt met mergelstenen hoekbanden. Dubbele overhoekse muizentandfries onder de dakrand. De vensters zijn alle recent. De poort is aan de noordzijde een rondboogpoort in kalkstenen omlijsting met sluitsteen en negblokken; de poort aan erfzijde schijnt recent. Alleen de op het poortgebouw aansluitende hoevegebouwen ten noorden en westen van het erf schijnen een oude kern te hebben (17de eeuw), zij het sterk aangepast. De overige gebouwen dateren uit de eerste helft van de 19de eeuw. De zuidvleugel telt negen traveeën en twee bouwlagen onder zadeldak; hij omvatte waarschijnlijk koetshuis, stallen en knechtenkwatier. De huidige cementering vervangt de oorspronkelijke bepleistering van het bakstenen gebouw. De vensters en deuren van de benedenverdieping zijn rechthoekig in een hardstenen omlijsting; drie getoogde, gekoppelde poorten. De bovenvensters zijn getoogd. De muuropeningen in de achtergevel(getoogd in bakstenen omlijsting) dateren uit de tweede helft van de 19de eeuw. Haaks op deze vleugel staat een rechthoekig gebouw (oranjerie?) van vijf traveeën en twee bouwlagen, waarvan het oorspronkelijke schilddak is verdwenen. Bakstenen gebouw op hardstenen plint, oorspronkelijk bepleisterd. Risalieten in de hoektravee, afgelijnd met pilasters. Rechthoekige muuropeningen in een gecementeerde omlijsting; rondboogvensters in een geprofileerde, bakstenen omlijsting in de risalieten. Ten zuiden hiervan een losstaand, kapelvormig dienstgebouw (tuinhuis?). Bakstenen gebouw, voorheen bepleisterd, van anderhalve bouwlaag onder zadeldak, voorzien van een houten dakruitertje. De voorgevel van drie traveeën heeft een middenrisaliet en bakstenen hoekpilasters. Rondboogvormige muuropeningen op de benedenverdieping; halfronde vensters met houten roedeverdeling in de bovenverdieping. De gevelpunt is opgevat als een fronton, met een centraal uurwerk. Tegen de achtergevel, een lange, glazen serre.

Het tweede erf, ten westen van het oude neerhof, ontstond in de eerste helft van de 19de eeuw, zie Atlas van de Buurtwegen (1844); het bestond toen uit twee gebouwen, waarvan de westelijke dwarsschuur van baksteen onder zadeldak het enige bewaarde gedeelte is. De pachterswoning en de overige vleugels werden toegevoegd eind 19de - begin 20ste eeuw. De pachterswoning in eclectische stijl is een breedhuis van het dubbelhuistype, drie traveeën en twee bouwlagen onder zadeldak. Getoogde muuropeningen met hardstenen afwerking.