Het oude heerlijke kasteel zou circa 1544 door raadsheer Lieven van Pottelsberghe, ontvanger der rijksgoederen van Vlaanderen en heer van het dorp, gesloopt zijn en vervangen door het huidige dat vermoedelijk in 1840 opnieuw gedeeltelijk verbouwd werd na het overlijden van graaf Carnin de Staden, de laatste nazaat der Vinderhoutse heren.

Gelegen in een omgracht park met fraaie ijzeren toegangspoort tussen arduinen pijlers met vaasbekroning. Volgens de afbeelding in A. Sanderus, Flandria Illustrata was het kasteel gelegen in een complex grachtensysteem verbonden met de Oude en de Nieuwe Kale; twee dreven leidden naar de weg Brugge-Gent, een eikendreef leidde naar de kerk (de huidige Kasteellaan) en één naar de Kale. Het park werd bij de recente herstelling van het kasteel onder leiding van tuinarchitect J. Wirtz heraangelegd en uitgebreid.

Oorspronkelijk L-vormig kasteel, door sloping van een vleugel midden 19de eeuw herleid tot een onderkelderd rechthoekig blok met bepleisterde gevels onder een schilddak. Bakstenen constructie met zandstenen hoekkettingen en misschien daterend uit de 16de eeuw. Heden ontpleisterd bak- en zandstenen gebouw van negen traveeën en twee-en-een-halve bouwlaag onder schilddak (leien). Simili-zandstenen hoekbanden en negblokken rond versmalde vensters en vernieuwde zandstenen plint. Middenrisaliet van drie traveeën met centraal achtkantig traptorentje (16de eeuw ?) afgelijnd met zandstenen hoekblokken en voorzien van stenen wenteltrap, vermoedelijk eind 19de eeuw een verdieping hoger opgetrokken en voorzien van een uurwerk onder de naaldspits. Toevoeging in 1954 van een erker op de begane grond, bij de recente herstelling van het kasteel terug vervangen door drie vensters, waarvan één imitatievenster. Achtergevel met keldervensters boven walgracht.

Interieur. Gewelfde kelders op één zuil met keuken, open haard en kruisribgewelf. Tegenover de ingang bevindt zich naar verluidt de vroegere huiskapel met achthoekig bakstenen stergewelf.

Ten westen van het kasteel, dienstgebouw (voormalige oranjerie, koetshuis, woning) met rondboogarcade van negentien traveeën waarin poorten, (imitatie-)vensters en bovenlichten. Een doorlopende zandsteen kroonlijst lijnt de langgerekte gevel af. Vertoont nog het zelfde bouwvolume van de westelijke vleugel die het binnenplein omsluit op de afbeelding van A. Sanderus. Vermoedelijk werd het gebouw met behoud van de oude kern eveneens midden 19de eeuw voorzien van de huidige rondboogarcade, die heden omlijst is met gecementeerde negblokken.