L édification du château est daté du XIIIe siècle. En 1225, le comte de Clermont offre le domaine de St-Floret à un de ses fidèles compagnons. Il lui demande d'y construire une forteresse et d'assurer la sécurité du pays.
Au XIVe siècle, un de ses successeurs fait construire une magnifique salle gothique de 9,6 m de coté, bardée de douze nervures et d'une clef de voute représentant un soleil à face humaine. Vers 1370, une quarantaine de fresques représentant l'oeuvre de Tristan sont peintes en l'honneur de la venue du duc de Berry. Seule treize existent encore aujourd'hui.