Lager gelegen terrein met zogenaamd Oude toren, en grondvesten van het verdwenen omwalde donjon, gelegen ten zuiden van de kerk. Zandstenen toren met rechthoekige muuropeningen, overblijvende hoektoren van een rechthoekige versterkte burcht, in de 11de eeuw opgericht door Boudewijn IV, graaf van Vlaanderen, deel uitmakend van de tweede verdedigingslijn tegen de Duitse keizers. Woonplaats van de heren van Herzele, verschillende malen vernield en heropgebouwd. In 1579, na verwoesting door de Spanjaarden, niet meer heropgebouwd wegens geldgebrek van de toenmalige bewoners, prins Willem d'Espinoy en Ernestine van Arenberg. De ruïne werd verkocht, één toren bleef behouden om het privilegierecht te doen gelden. Restauratie in 1972.