Fondé en 1020 par le Comte de Bourgogne, ce prieuré – Notre-Dame – est une ancienne fondation monastique rattachée à l’ordre de Cluny en 1029. En 1109, ce monastère est converti en un prieuré clunisien mais restera tout à fait modeste jusqu’au déclin de l’ordre clunisien dû en grande partie aux établissements bénédictins de plus en plus nombreux et importants comme Baume-les-Messieurs ou Château-Chalon.
Le prieuré sera fermé à la révolution en 1790 et partiellement démoli. En 1822, il est transformé en petit séminaire diocésain et enfin transformé en école catholique en 1966 puis en collège privé jusqu’en 2009.