La partie la plus ancienne du château est un gros donjon roman carré, vertigineux, aux rares percements, agrafé d'une bretèche et d'une échauguette, accosté d'une cage d'escalier en vis, mince comme un contrefort et terminé par une terrasse crénelée. D'un côté, un logis de la même époque lui est juxtaposé ; il a été retouché et agrandi aux XVI^e et XVII^e siècles. De l'autre côté, c'est un logis en partie XIV^e siècle, auquel sont accolés une cour et un escalier de plan carré desservant des appartements du XVII^e siècle. Les appartements ont conservés des boiseries et un plafond peint du XVII^e siècle ; la salle des États garde une cheminée Renaissance sculptée de bucranes ; cette salle donne sur un petit oratoire entièrement revêtu, au XV^e siècle, de fresques parmi lesquelles une Pieta, un saint Christophe, une Cène dans laquelle saint Martial est le maître d'hôtel.

À l'époque de la guerre de Cent Ans, la forteresse de Beynac était l'une des places fortes françaises. La Dordogne servait alors de frontière entre France et Angleterre ; non loin de là, de l'autre côté de la Dordogne, le château de Castelnau était aux mains des Anglais.

Cette région de Dordogne fut le théâtre de nombreuses luttes d'influence, rivalités et parfois combats entre partisans des Anglais et partisans des Français. Toutefois les châteaux tombaient plus souvent par la ruse et l'intrigue que par les assauts, car les armes nécessaires à la prise de tels châteaux-forts étaient extrêmement coûteuses ; seuls quelques grands seigneurs fortunés et les plus grands rois pouvaient se les procurer.

On peut y voir de somptueuses tapisseries représentant des scènes de chasse et d'autres scènes de la vie des seigneurs de l'époque.

Le château a été racheté en 1962 par Lucien Grosso qui l'a passionnément restauré.