Bâti par les Chalons en 1 200, conquis en 1361 par Thibaud de Chauffour, chef des routiers, qui rançonna Tristan de Chalon pour 1 000 florins, il a ensuite été en partie détruit en 1455, puis réparé et occupé par une garnison comtoise. Il n’a pas résisté aux attaques d’Henri IV lors de la guerre de Franche-Comté, en 1 592 et fut ensuite brûlé, pour ne jamais renaître de ses cendres. L’Adapemont, association de valorisation de la Petite Montagne, retape petit à petit ce lieu du patrimoine jurassien dont les ruines du mur d’enceinte et quelques pans du château sont toujours visibles.
Les visiteurs pourront découvrir une légende, celle du seigneur, un homme violent et sanguinaire, a fui lors de la prise du château en laissant trois femmes derrière lui, sûrement ses filles et sa femme, ou des captives. Ces dernières auraient été torturées et placées dans des tonneaux garnis de pointes avant d’être jetées du haut du pic d’Oliferne vers la rivière d’Ain. Un chasseur de fantômes hanterait les lieux…