C'est vers le Xéme siècle que des paysans s'installèrent pour la première fois dans cette régions du Livradois. Abondante en gibier, et en poissons, ils lui donnèrent le nom de "Vivarolium", qui signifiait vivier. Pendant près de cent ans, seule deux exploitations agricoles occupaient le site.
Aprés l'an mille, les comtes d'Auvergne perdirent l'essentiel de leur pouvoir en Livradois et cédèrent la place à d'autres seigneuries. Parmi celles-ci émergèrent bientôt deux lignages particulièrement puissants, peut-être d'origine vicomtale, qui imposèrent leur domination à de nombreux villages: les Montboissier, entre Allier et Dore, et les Baffie dans le fossé d'Ambert et sur les pentes du Forez.
C'est à ces derniers qu'appartenait la châtellerie de Viverols, à l'extémité méridionnale d'un vaste territoire dont ils s'étaient rendus maîtres à partir de leur château éponyme de Baffie, et qui incluait notamment les forteresses d'Ambert, de Riols et de Marsac. Le seigneur de Baffie, Guillaume, évèque de Clermont, décida de développer cette contrée. Il demanda aux moines de Sauxillanges de fonder un prieuré et une paroisse autour d'une église dont il finança lui-même la construction. Pour accroître l'économie du hameau, il acheta au seigneur de Usson, Ebrald de Chalencin, son vassal, la concession d'un marché qu'il possédait et le transféra à Viverols qui devint dés lors un centre important. Si puissant qu'ils aient été, ils durent néanmoins, au cours du XIIIéme siècle, se placer dans la suzeraineté des évêques de Clermont afin d'échapper à l'influence plus contraignante du pouvoir royal, lequel à cette époque se manifestait à nouveau en Auvergne.
A Viverols, dans la vallée de la Ligonne, les seigneurs de Baffie surent tirer parti d'un très vieil itinéraire, sans doute antérieur au moyen-âge, qui mettait en relation les bassins de l'Ance et de la Dore, par le col de Chemintrand. Après la prise de la forteresse de Usson, à quelques kilomètres, ils devaient reformer la défense sud de leur domaine. Il édifièrent donc un château sur le puy surplombant le village. Si l'église romane a disparu, le village est toujours dominé par son imposante enceinte du XIIIéme siècle, le plus grand vestige féodal de l'Ambertois.
De forme pentagonale, le château était, à l'époque, flanqué de quatres tours rondes et d'un donjon d'angle, aujourd'hui disparut. La taille des pierres, l'épaisseur des murs et les nombreuses archères témoignent de la puissance de cette forteresse. Un fossé, comblé, obligeait les piétons et les cavaliers à utiliser un pont-levis dont il ne reste aujourd'hui que les rainures dans le mur de la porte. Porte, qui fut réaménagé au XVéme siècle.
Certains experts et archéologue pensent qu'un château, peut-être une simple tour entourée de palissades, antérieur à la forteresse, fut construit vers le XIéme siècle sur les ordres de Jocob de Viverols et détruit par Louis XI.
Un ancien seigneur extrèmement sévère, Pardon le Noir, interdisait à ces trois filles d'aller s'amuser avec les enfants du village. Les fillettes, malignes, avaient conclu un accord avec le geolier du château. A chaque fois que leur pére partait à la chasse, elles empruntaient un souterrain partant des geoles et débouchant dans la maison du bailli, au centre du village. Le petit manège durait depuis un bon moment lorsqu'un jour le seigneur les surprit à leur retour. Il punit le geolier et enferma ses trois filles dans les oubliettes d'une tour. Il dut quitter le château plusieurs jours afin de combattre une bande de brigants qui sévissait dans le pays. A son retour, les jeunes filles avaient disparu. Les trois petits arbres au sommet de la tour représenteraient les âmes de ces fillettes.


























