Au Xe siècle, l’abbaye Saint-Marcel-lès-Chalon, de l’ordre de Cluny, usurpe les biens du prieuré qui lui seront confirmés au XIe siècle. Détruit au XIVe siècle, il est reconstruit au XVe. En 1663, le prieuré, sans marque de conventualité, est dit établissement rural de Cluny. Acquis à la Révolution par Jean-Baptiste Lhomme, le prieuré devient une exploitation agricole et bien malmené. Racheté par ses propriétaires actuels, il est restauré, notamment la chapelle ornée de belles fresques.
La petite église de Ruffey est une petit panthéon militaire comme l’indique les plaques tombales à l’extérieur comme par exemple celle de Claude Jacques LECOURBE, général français ayant sa statue à Lons le Saunier.