Heden genaamd 't kasteelke, de geschiedenis van de heerlijkheid Diepenstein, aanvankelijk in het bezit der Bouchouts, klimt op tot einde 13de eeuw. Leen van het hertogdom Brabant, wordt het in het laatste kwart van de 17de eeuw tot graafschap verheven ten voordele van E.A. van Maldegem; in die tijd was Diepenstein een groots ensemble waarvan slechts het hoekgebouw links op de door Harrewijn (1695) gemaakte gravure nog overblijft. De overige gebouwen werden gesloopt in 1825 en de vijvers en grachten die het omringden werden gedempt.

Heden is Diepenstein een fraai gelegen goed, toegankelijk langs twee lange dreven, met de behouden merkwaardige kasteelvleugel uit de 17de eeuw, die echter met steeds verder gaand verval bedreigd is en enigszins verminkt wordt door recente ertegenaan gebouwde varkensstallen en het recente woonhuis (1964).

Twee verdiepingen hoog kasteel op rechthoekige plattegrond met afgesnuite noordwesthoek en een uitspringend kapelletje ten oosten, afgedekt met een schilddak (leien en kunstleien), in traditionele bak- en zandsteenstijl uit de 17de eeuw. Tegenwoordig dient de vleugel in het westelijk deel als varkenshok, in het middendeel als bergruimte en stapelplaats (vroeger woonhuis) en in het oostelijk deel als schuur. Zuidgevel in de loop van de 19de eeuw aangepast doch de oorspronkelijke gevelordonnantie van kruisvensters wordt aangegeven door de dubbele ontlastingsboogjes van een rollaag, de onderbroken speklagen, enkele bewaarde vensterstijlen met negblokken, en ten westen, een oorspronkelijke deuromlijsting met negblokken, eertijds middenkalf en bovenlicht; van de aanpassing uit de 19de eeuw resulteren het dichtmetselen van sommige vensteropeningen, de wijzigingen aan andere en het aanbrengen van de huisdeuromlijsting van arduin met uitspringende druiplijst en van de schuurpoort met een hergebruikte balk als latei. In de noordgevel, haast geen sporen van oorspronkelijke vensters voor het schuurgedeelte, doch wegens de overblijvende elementen wel afleesbare gevelordonnantie in het woongedeelte, evenals in de afgeschuinde hoek en de westgevel; laatstgenoemde vertoont sporen van de aanzet van een gebouw (zie gravure Harrewyn). In de oostgevel, uitspringend rechthoekig kapelletje afgedekt met een driezijdig lessenaarsdak (leien), voorzien van een oculus in de lange en van een zandstenen rondboogvenster in elk der beide korte zijden.

De kasteelvleugel bewaart in sommige vertrekken de oorspronkelijke tegelvloer, de eikenhouten zolderingen, sommige met bewaarde beplanking, fraaie moerbalken met geprofileerde sloffen en kraagstenen van zandsteen. Op de begane grond is het zuidvertrek van het woondeel voorzien van een fraaie arduinen renaissanceschouw met wortelmotief op elk der standen (eerste kwart 17de eeuw?) en het noordelijk vertrek van een traditionele schouw van baksteen. Gemerkt traditioneel dakgebint. In het kapelletje, resten van muurschilderingen.