Au XIIIéme siècle, Saint-Vidal n'était qu'un petit village avec une maison forte que les seigneurs agrandissent au XIVéme siècle.
Alors que l'artillerie fait sont apparition au XVIéme siècle, Antoine II de la Tour Saint-Vidal fait adapter les fortification et construit un donjon capable de résister aux bouche à feu. La tour de l'église est modifiée afin de recevoir des canons.
A l'intérieur du château, on peut admirer une cusine ogivale et ses immenses cheminées ainsi que de magnifiques caves voutées.