Edifié au XIIIe siècle, le château était à l'origine composé d'un vaste corps de logis et de deux enceintes flanquées de quatre puissantes tours rondes.
Le château fut détruit par un immense incendie au XVIIIe siècle. La légende veut que, un sombre jour, le seigneur du lieu, un brigand de la pire espèce surnommé après coup "Le Garou", attaqua le monastère du village, massacrant tous les moines, et pillant leurs richesses. Auteur d'une orgie mémorable dans le lieu saint, un violent orage éclata, poussant le seigneur et ses soudards à prendre la fuite et réduisant le château en cendre lors d'un gigantesque incendie. La forteresse ne fut jamais redressée et "Le Garou" disparut à jamais.