Il fut édifié dans la seconde moitié du XV^ème siècle, ancien fief qui dépendait de la baronnie de La Rochefoucauld. Lionel de Lubersac entreprit sa construction dont les anciens du pays en parlaient comme une merveille.

Elle ruina le seigneur Lubersac qui se vit dans l’obligation de vendre sa seigneurie à Benoit de l’Age-Baston, premier président au parlement de Bordeaux.

Au XVII^ème, la famille Duvignaud en était possésseur. Le dernier propriétaire de Fayolle fut Marc René Bareau de Girac qui émigra.

Le château fut alors dévasté et incendié. Il est lisible sur le plan une enceinte carrée de près de 100m de coté dotée à chaque angle d’une tourelle ; au centre s’élevait le logis Renaissance richement décoré à l’intérieur. On sait par le témoignage orale de M.François qui habita Fayolle dans sa jeunesse, que les appartements étaient couverts de dorures, confirmant ainsi la légende de « la chambre dorée ».

On dispose aujourd’hui de deux documents graphiques d’importance :

- Le plan géométrique où sont visibles quatre cercles (tours ou pigeonnier), logis formant équerre, murs et dépendances,

- Le relevé cadastral 1830 qui ne nous montre qu’une seule tour dans l’angle proche du chemin de Fayolle à Jauldes.

Enfin, l’édifice aurait possédé des portes bardées de fer et soulevées par des chaines puissantes, des fossés profonds, deux larges avenues bordées d’arbres gigantesques.

Les cartes postales de l’époque nous montrent des pans de murs en ruines. Le pillage a eu lieu au XIX^ème siècle où s’est essentiellement effectuée la réutilisation des pierres taillées de Fayolle que l’on peut retrouver sur les maisons paysannes du voisinage.

En complément, des articles ont été écrits dans les Contact Jauldois N° 10 à 19.