Omwald en omhaagd kasteel in as van een beukendreef, ijzeren hek tussen bakstenen pijlers met topvazen, beboomd park. Hovorst is vanaf circa 1400 bijna ononderbroken in het bezit van de familie van de Werve. Het vroegere kasteel naar oude kaart van 1618 en ets van Frans Ertinger gepubliceerd door J. Le Roy in 1694, komt voor als een waterslot met twee haaks op elkaar staande gebouwen in de zuidoostelijke hoek. Het kasteel was volledig ommuurd met drie ronde torens op de andere hoeken; ook het poortgebouw over de ophaalbrug was versterkt en had twee ronde torens. In het derde kwart van de 17de eeuw liet de nieuwe eigenaar Paul Melchior de Villegas het kasteel vernieuwen, vermoedelijk is toen de oostvleugel (kern van huidige kasteel) gebouwd. Naderhand verdween het versterkt karakter en werden wallen en torens gesloopt. In 1802 werd Hovorst gekocht door P.J. de Bruyn die het kasteel verbouwde in empirestijl en de grachten gedeeltelijk liet dempen; alleen het oostelijk hoofdgebouw bleef bewaard. Het huidig uitzicht kreeg het kasteel bij de verbouwing van 1913-14 naar ontwerp van architect Pierre Langerock.

Rechthoekig gebouw in neo-Vlaamserenaissance-stijl van vijftien en twee traveeën, souterrain en twee bouwlagen onder leien schilddak (nok parallel aan de straat) met dakvensters, dakkapellen en talrijke schoorsteenpijpen. Ontpleisterde bak- en zandstenen lijstgevels met speklagen, geprofileerde negblokken, steigergaten en sierlijke ankers; rechthoekige vensteropeningen.

Westgevel met zandstenen onderbouw. Middenrisaliet van drie traveeën bekroond met trapgevel van acht treden en een topstuk, die een driehoekig fronton uit de 19de eeuw vervangt (zie oude prentbriefkaarten). Kruiskozijnen op benedenverdieping, centraal venster van bovenverdieping in geriemde omlijsting. Rechthoekige deur met bovenlicht in geprofileerde tudorboogdeuromlijsting met kruisbloem. Ankers: "ADC 1400" en "NVDW". Voor de middentravee pui met twee steektrappen (vijf treden) en neogotische balustrade.

Ten westen van kasteel: koetshuis van acht traveeën en één bouwlaag onder steil zadeldak met aandaken (leien en mechanische pannen, nok loodrecht op de straat). Rechthoekig bakstenen gebouw, zuidgevel met speklagen en steigergaten, vier geprofileerde rondboogpoorten links en rechts geflankeerd door rechthoekige deur met bolkozijn (bovenlicht) en rechthoekige vensters met uitspringende dorpels, wigvormige ontlasting. Verder twee neogotische getrapte dakvensters. Noordgevel van twee bouwlagen met recent aanbouwsel, rechthoekige venstertjes, twee radvensters, sporen van vroegere muuropeningen en steigergaten.

Ten oosten van koetshuis hardstenen pomp met waterbak gedateerd "ANNO 1686", spuwer in vorm van leeuwenkop.