L'édification du château est daté du XIIIéme siècle. En 1225, le comte de Clermont offre le domaine de St-Floret à un de ses fidèles compagnons. Il lui demande d'y construire une forteresse et d'assurer la sécuriter du pays.
Au XIVéme siècle, un de ses successeurs fait construire une magnifique salle gothique de 9,6 m de coté, bardée de douze nervures et d'une clef de voute représentant un soleil à face humaine. Vers 1370, une quarentaine de fresques représentant l'oeuvre de Tristan sont peintes en l'honneur de la venue du duc de Berry. Seule treize existent encore aujourd'hui.