Au XIIIe siècle, Saint-Vidal n'était qu'un petit village avec une maison forte que les seigneurs agrandissent au XIVe siècle.
Alors que l'artillerie fait sont apparition au XVIe siècle, Antoine II de la Tour Saint-Vidal fait adapter les fortification et construit un donjon capable de résister aux bouche à feu. La tour de l'église est modifiée afin de recevoir des canons.
A l'intérieur du château, on peut admirer une cuisine ogivale et ses immenses cheminées ainsi que de magnifiques caves voutées.