Twee vleugels beschermd als monument bij K.B. van 20/02/1939. Beschermde noordwestelijke vleugel gesloopt in 1957 voor de uitbreiding van het Sint-Jan Berchmanscollege.

De oudste vermelding van een "curia" of woning van de heren van Avelgem -naast de Genste Sint-Baafs- en Sint-Pietersabdij, de derde grote macht te Avelgem- dateert van 1202. Vermoedelijk betrof het een donjon op rechthoekig grondplan. In 1269 is er reeds sprake van een "castrum" of versterkte burcht, gelegen in de onmiddellijke nabijheid van de kerk.

Volgens J. Colpaert wordt er in de 15de eeuw een nieuw kasteel gebouwd, vermoedelijk door Lodewijk van Gruuthuse. Anderen plaatsen de bouw van het "huus van playsance" in de 16de eeuw (vóór 1573). Tijdens de godsdiensttroebelen op het einde van de 16de eeuw wordt het kasteel zwaar beschadigd, waarna het hersteld wordt door Catharina van Brugge. Omstreeks het midden van de 17de eeuw, vermelding als rijkelijk ingerichte residentie van de heren van Avelgem (zie notariële inventaris 1659). Tijdens de tweede helft van de 17de eeuw laat Claude Richardot het kasteel verbouwen, met onder meer de vervanging van de bestaande daken door mansardedaken. De familie d' Ursel, eigenaar vanaf 1701, laat het kasteel op het einde van de 18de eeuw verkommeren en bij de aanvang van de 19de eeuw is het onbewoond en in verval. De zuidoostelijke vleugel wordt in 1804 ingericht als gemeentehuis (tot 1868). In 1813 bekomt de gemeente, die het kasteel huurt, de toelating van de hertog van Ursel om een straat (de huidige Kasteelstraat) doorheen het kasteel te trekken. Hiervoor wordt het poortgebouw en een deel van de noordoostelijke vleugel gesloopt en de omwalling gedempt (zie Atlas der Buurtwegen, circa 1843). De noordwestelijke vleugel wordt in 1847 gebruikt als weefatelier voor minder begoede jongens; in de bijgebouwen wordt de gendarmerie ondergebracht. Een ander deel wordt verhuurd aan een particulier, die er een textielfabriek in onderbrengt en aan de broeders van Goede Werken, die het lager onderwijs verzorgen.

Op 1 oktober 1872 wordt het Sint-Jan Berchmanscollege opgericht en ondergebracht in de twee resterende vleugels van de voormalige Scheldeburcht.

Ondertussen was het kasteel door verkoop en erfenis in handen gekomen van de familie Vergauwen, zij doen in een akte van 1873 afstand van de gebouwen ten voordele van de bisschop. In 1924 wordt de net opgerichte Decanale Vereniging Sint-Martinus van Avelgem de eigenaar.

Bouw van een neogotische kapel in 1878. Uitbreiding en verbouwing van schoolgebouwen in 1878, 1896-1906 (vernieuwing van het interieur van de zuidelijke hoektoren), 1910, 1912, 1926-1927. Zwaar beschadigd in 1918 door beschietingen van de geallieerden bij bevrijding van Avelgem. In 1957 wordt de beschermde noordwestelijke vleugel zonder toelating afgebroken voor het bouwen van een nieuwe vleugel (1959-1961) van het Sint-Jan-Berchmanscollege naar ontwerp van de Kortrijkse architect Pauwels. De bewaarde vleugel is thans in gebruik als gezondheidscentrum en conservatorium.

Scheldeburcht afgebeeld als lustkasteel op een kaart van L. De Bersaques (1632) en bij Sanderus (1641), beide kaarten tonen een imposant omwald volume bestaande uit drie vleugels opgesteld in U-vorm, gemarkeerd door hoektorens en een monumentaal poortgebouw. Zelfde configuratie op een kaart van 1769 en bij Ferraris (1770-1778), tevens afbeelding van een grote tuin. Op de Atlas der Buurtwegen (circa 1843) afgebeeld zonder poortgebouw en omwalling.

Kasteel getekend in 1812 door Serafijn Vermote.

Aan de straat gelegen resterende zuidoostelijke vleugel. De huidige voorgevel, die voorheen op de binnenkoer gericht was heeft zijn huidig uitzicht bekomen circa 1700.

Volume van rode baksteen op natuurstenen plint, tien traveeën en één bouwlaag onder mansardedak met vijf standvensters onder driehoekig fronton. Voorgevel met licht getoogde muuropeningen gevat in een arduinen omlijsting met eenvoudige sluitsteen, historisch schrijnwerk. Rondboogdeur geflankeerd door geblokte lisenen. Uiteinden van de centrale vleugel gemarkeerd door twee vooruitspringende delen. Ten zuiden, een vroegere hoektoren onder tentdak doorbroken door twee dakkapellen. Centrale rechthoekige toegangsdeur onder driehoekig fronton, geflankeerd door twee licht getoogde muuropeningen gevat in een arduinen omlijsting. Ten oosten aanzet van vroegere noordoostelijke vleugel. Volume van rode baksteen, vier traveeën onder mansardedak met drie vensters onder driehoekig fronton. Eenvoudige licht getoogde muuropeningen boven gecementeerde plint. Oostgevel van drie traveeën met kleine licht getoogde muuropeningen in verdiepte nissen gevat tussen gevelhoge lisenen.

Achtergevel met centrale halfronde toren, reeds herkenbaar bij Sanderus. Linker- en rechterzijde, telkens met twee vooruitspringende traveeën. Licht getoogde muuropeningen met arduinen negblokken, centraal venster met ijzeren balkon.