Le château est mentionné dès 1102, il contrôlait le pont sur la Loire, mais disparut dès le XIVe siècle. Il n’a appartenu au cours des siècles qu’à trois familles : les premiers seigneurs de Sully, la famille de la Trémoille, et la famille de Béthune.
En 1218, Philippe Auguste fit bâtir une tour maîtresse.
En 1396, Gui VI de La Trémoille lance la construction du château actuel, Raymond du Temple (architecte du roi et du duc d’Orléans) en dresse les plans.
Georges Ier de La Trémoille, né en 1384 et mort le 6 mai 1446 au château de Sully-sur-Loire, fut comte de Guînes de 1398 à 1446, comte de Boulogne et d'Auvergne, comte baron et seigneur de Sully, Craon, et de la Trémoille, de Saint-Hermine, de l'Isle-Bouchard, grand chambellan de France (1428).
En 1524, un bâtiment est ajouté au sud-est de l’édifice.
Il est acquis en 1602 par Maximilien de Béthune, le grand Sully, premier duc du nom. Entre 1602 et 1607, ce dernier transforme le château à son usage, édifiant également un parc.
Le jeune Louis XIV se réfugie au château en mars 1652 lors de la Fronde des princes.
En 1715, le château accueille Voltaire qui fuyait Paris.
Au milieu du XVIIIe siècle, un bâtiment est construit au nord du corps d’entrée.
Le château est resté dans la famille du 1er duc de Sully jusqu’en 1962, année à laquelle le conseil général du Loiret l’acquiert et le restaure.
INTERIEUR
charpente de la salle des gardes, du XVème s, au 3/4 d'origine, assemblée en berceau brisé (architecture gothique)
grande salle basse, autrefois séparée en plusieurs pièces dont la cuisine. grande cheminée du XIVe; statue de Sully
réplique en platre du tombeau du duc de Sully et de sa seconde épouse. original à Nogent le Rotrou (28)
le bain des nymphes . tissée à Paris 2éme quart du XVIIe siècle (à droite le dieu Pan tel un satyre)
La danse des satyres; même période que la tapisserie précèdente, également tissée dans les ateliers du faubourg Saint Marcel à Paris. à l'inverse du " bain des nymphes", ici ce sont les nymphes qui observent les satyres.