La forteresse médiévale construite par le seigneur fondateur de la ville Jean de Chalon l’Antique, au milieu du XIIIe siècle a été remplacée par un magnifique palais Renaissance par son successeur Louis de Chalon-Arlay, Prince d’Orange dit le Magnifique. Le château et la ville ont vécu des heures de gloire dont le célèbre tournoi donné ici par Philibert de Chalon-Arlay en 1519 en l’honneur de sa nomination au titre de chevalier de la Toison d’or.
Après le départ des seigneurs en 1530 vers les Provinces-Unies (actuel Pays-Bas), il a continué néanmoins d’être habité pour les besoins du fonctionnement par la famille de Montrichard. Il a subi aussi des dégâts pendant les guerres de conquête, la guerre de 10 ans et surtout après l’incendie de 1815. Aujourd’hui l’association historique, les « Amis du Vieux Pays de Nozeroy » se préoccupe de stabiliser les ruines du château. Une dizaine de bénévoles y réalisent chaque année de nombreuses actions de valorisation de ce patrimoine grâce aux subventions de collectivités.
Ancienne porte du château


