Scherpenberg was een belangrijk leengoed met kasteel, afhankelijk van het leenhof van Hamal te Rutten. Achtereenvolgens in het bezit van de families de Scarpenbergh, Baest (1488), Hoen, de Limelette (begin XVI), van Brecht, de Berlaymont, Bex (1574), Vaes (1575), Mantels, van Spauwen (1696), de Vaes (1697) de Lenarts, Grisard (1808), de Corswarem (1850).

Van de oorspronkelijke burcht rest in de 16de eeuw alleen een toren (behouden in de silex-onderbouw van het huidige westgedeelte, en herkenbaar op de tekening van Remacle Le Loup als de hoge toren in het midden). In 1579 of 1580 bouwt Herman Vaes hier een huis met schuren, stallingen, een brouwerij en een duifhuis. Het poortgebouw en de overige oude gedeelten dateren uit de eerste helft van de 17de, midden 17de eeuw, mogelijk gebouwd aansluitend bij deze bouwcampagne. Naar verluidt brandt het hoofdgebouw tijdens de Franse revolutie volledig af. Dit gegeven stemt overeen met het huidige begin 19de-eeuwse uitzicht van het woonhuis met aansluitende toren. In deze periode wordt ook een vleugel bijgebouwd aan de westzijde van het park, die in 1956 wordt afgebroken.

Woonhuis en dienstgebouwen werden voor kort gerestaureerd, met bouw van recente gedeelten aan de noordzijde. In zijn huidige vorm een langgestrekt gebouw, met dienstgebouw ten noordoosten en twee thans alleenstaande ronde torentjes in het park achter het gebouw.

Poortgebouw van twee en een halve bouwlagen onder wolfsdak (leien), uit de eerste helft van de 17de, midden 17de eeuw, zoals afgebeeld op de tekening van Remacle Le Loup. Bakstenen gebouw afgewerkt met mergelstenen banden en hoekbanden. Mergelstenen kroonlijst met een fries van trigliefen, ruiten en medaillons. De zuidgevel is voorzien van een rondboogpoort in een rechthoekige kalkstenen omlijsting. Erboven een kalkstenen gevelsteen in mergelstenen omlijsting met de wapens van Vaes en Schroots en het chronogram PAX IAM CULTA REDUX PARVAQUE REGNE SUIS (1697); de steen werd aangebracht ter gelegenheid van de terugkeer van het goed in het bezit van de familie Vaes. Een kloosterkozijn en een klein rechthoekig venster in geprofileerde mergelstenen omlijsting met negblokken. In de noordgevel een mergelstenen rondboogpoort met kalkstenen posten; erboven een gevelsteen met wapenschild. Kruiskozijn in een geprofileerde mergelstenen omlijsting met negblokken.

Ten westen aansluitend op het poortgebouw, één verdieping hoge rest van de oorspronkelijke donjon (zadeldak, leien): silex-onderbouw waarop een mergelstenen gedeelte. In de zuidgevel een mergelstenen spitsboog met kalkstenen imposten; in de noordgevel sporen van een gedichte rondboogpoort. Het oorspronkelijke woonhuis sloot ten westen hierop aan.

Het ten oosten op het poortgebouw aansluitend woonhuis behield fragmenten de eerste helft van de 17de, midden 17de eeuw, doch dateert in zijn huidig uitzicht uit begin 19de eeuw; voor kort grondig gerestaureerd. Bakstenen gebouw van twaalf traveeën en anderhalve bouwlaag onder zadeldak (leien) met aansluitende hoektoren van twee bouwlagen onder schilddak. Rechthoekige bakstenen muuropeningen.

Dienstgebouw uit de eerste helft van de 17de, midden 17de eeuw ten noorden van het hoofdgebouw. Bakstenen gebouw van twee traveeën en één bouwlaag onder wolfsdak. Mergelstenen banden, hoekbanden en steigergaten; kalkstenen afwerking aan de plint. Twee getrapte dakvensters. Twee korfboogpoorten in een mergelstenen omlijsting met kalkstenen sluit- en aanzetstenen en dito negblokken onderaan de posten.

In de tuin, twee lage, ronde torentjes met ingesnoerde naaldspits (leien). Bak- en mergelstenen gebouwtjes, mogelijk met originele kern doch sterk gerestaureerd.