Kasteel Rijvissche, zogenaamd naar de Gentse familie Rijvissche, de oudst bekende eigenaars van het goed in de 12de-14de eeuw. Ook vermeld bij de bezittingen van de Sint-Pietersabdij. In de 16de eeuw in het bezit van een andere belangrijke Gentse familie, Van der Sickelen, en door huwelijk van Francisca-Louisa Van der Sickelen met Joris Rockelfing (baljuw van de Oudburg te Gent) in 1564 in het bezit van laatstgenoemde familie (confer de nog bestaande doch sterk verweerde gevelsteen boven de ingangspoort) en dit tot eind 18de eeuw. Later eigendom van de familie Penneman-De Graeve en zomerverblijf van schepen De Maere-Limnander. Ook schrijver en Nobelprijswinnaar M. Maeterlynck verbleef er meermalen toen het kasteel bewoond was door zijn grootmoeder.

Heden nog volledig omgracht kasteel (nummer 3) met voormalige hovenierswoning en dienstegebouwen (nummer 5) en neerhof (nummer 9) en ingangspoort (nummer 7) met lange toegangsweg vanaf de Rijvisschestraat.

Een dubbele vierkante grachtengordel omsluit het voormalige neerhof (noorden), de dienstgebouwen en hovenierswoning (westen) en het kasteel zelf (zuidoosthoek) dat op zijn beurt nog eens omgeven is door een binnenwal en slechts toegankelijk is via een brug met drie bogen (westen), vermoedelijk in de loop van de 18de eeuw gebouwd ter vervanging van een ophaalbrug. Het kasteel, oorspronkelijk een waterslot, behield tot op heden nog een deel van zijn middeleeuws verdedigingssysteem aan de westelijke zijde, een vermoedelijk 16de-eeuwse woonvleugel aan de noordelijke zijde en een circa 1800 aangepaste 18de-eeuwse uitbreiding in L-vorm aan de oostelijke zijde.

Vrij gaaf gebleven ingangspoort geflankeerd door twee ronde bakstenen verdedigingstorentjes verbonden door een hoge muur. Boven de muur uitstekende geleding versierd met blinde rondboognissen (oorspronkelijk op zeiltjes ?) onder zeshoekige spits (leien), daterend uit 14de-15de eeuw. Geprofileerde zandstenen kraagstenen ter hoogte van de brug. Centrale spitsboogdoorgang naar de binnenplaats gevat in een rechthoekig natuurstenen omlijsting: ingeschreven zandstenen archivolt op sterk verweerde zuiltjes met knoppenkapiteel. Heden ijzeren afsluithek. Erboven, reeds vermelde verweerde hardstenen gevelsteen met Latijnse inscriptie en wapenschilden van de familie Rockelfing en Van der Sickelen. Linkertorentje voorheen gebruikt als duiventoren. Links en recht van de poort, zware dubbele verdedigingsmuur met binnenin een galerij, onder zadeldakje. Later (18de eeuw?) aangebrachte ruime spitsboogdoorbrekingen (twee links en een rechts) om vanuit het woongedeelte een uitzicht te krijgen op de omgeving. Rechts sporen van geprofileerde zandstenen kraagstenen van de heden verdwenen rechtse hoektoren. Links aansluitende verankerde zijpuntgevel van de noordelijke woonvleugel en gedeeltelijk bewaarde; linker hoektoren onder pannen afschuining ter hoogte van het dak. Gedichte schietgaten en versiering met ruitmotieven van donkere baksteen.

Ten noorden, 16de-eeuwse woonvleugel van vijf traveeën en twee bouwlagen onder zadeldak (Vlaamse pannen, nok loodrecht op de straat) met zware schoorsteen. Verankerd (lelie-ankers) bakstenen gebouw met hoge rechthoekige vensters met roedeverdeling. Links, smalle en hogeroplopende travee aanleunend bij de oostvleugel. Begroeide binnenplaatsgevel met deur in rechtertravee; uitgewerkte muuranker links.

Interieur, op een lager niveau dan de huidige binnenplaats, onder meer met merkwaardige keuken volledig bezet met Delftse tegels, bewaarde grote haard en rode tegelvloer. Eikenhouten trap met getorste balusters en gesculpteerde trappaal met leeuw rechts van de ingang.

Ten oosten, in L-vorm aangebouwde classicistische vleugel met begin 19de-eeuws voorkomen, vermoedelijk als aanpassing van een 18de-eeuwse kern. Bepleisterde en geschilderde buitengevels van zes en twee traveeën met twee hoge bouwlagen onder schilddak (pannen, nok parallel met de straat), afgelijnd door geblokte hoekpilasters en horizontaal gemarkeerd door een arduinen cordon en geprofileerde lijst onder de houten kroonlijst op klosjes. Rechthoekige vensters met persiennes, blinde bovenvensters in de rechter zijgevel. Begroeide, gecementeerde binnenplaatsgevel.

Interieur met behouden 18de-eeuwse stucplafonds, paneeldeuren en marmeren schouwen. Recenter aanbouwsel op de zuidoosthoek met één bouwlaag onder mansardedak, in de loop van 20ste eeuw gebouwd op de plaats van de circa 1885 toegevoegde serre.

Heden onbebouwde zuidelijke zijde met bewaarde sporen van de vroegere verdedigingsmuur.

Ten westen van het omgrachte kasteel, schuin ingeplant boerenhuisje met 19de-eeuws voorkomen (vroegere hovenierswoning) van vier traveeën met één bouwlaag en zadeldak (pannen). Rechthoekige deur en vensters, rechts houten kruiskozijn. Ervoor, ruime stallen minstens opklimmend tot de 18de eeuw en horende bij het voormalige neerhof. Verankerd bakstenen gebouw onder zadeldak met linkerzijaandak met muurvlechtingen.

Vanaf het ingangshek bij de dubbele omwalling leidt een afzonderlijke weg noordwaarts naar de vroegere hoeve van het kasteel, heden zogenaamd "'t Hof Rijvissche". Ruim, verankerd gewit bakstenen gebouw op gepikte plint, zeven en twee traveeën en één bouwlaag onder zadeldak (pannen, nok loodrecht op de straat), in kern minstens opklimmend tot de 17de-18de eeuw. Beraapte erfgevel met rechthoekige deur en vensters met aflijnende platte banden; luiken met hartvormige lichtopeningen. Interieur met behouden balken op versierde sloffen, grote kelder en opkamer.