La chapelle, construite en granit et schiste, est en forme de croix latine. Du XV ème siècle subsistent le transept, la nef et l'amorce du choeur. Le clocher-porche est également de cette époque, il porte la date de 1521. Toutefois, c'est au travaux du XVIII ème siècle que la chapelle doit la voûte actuelle, son somptueux décor intérieur et son choeur prolongé d'une sacristie axiale. Abritant en leur temps la confrérie des Âmes du purgatoire et celle du Scapulaire, elle est connue pour son pardon au mois d'août qui donne lieu à d'importantes festivités. Notre Dame de Carmès porte un nom que les générations ont déformé. Jamais ce site n'a accueilli de fondation de Carmes. Il semble bien que ce nom soit d'origine celtique, Car ar maez signifiant domaine des champs. Célébrée dans le livr er labourer de l'abbé Guillôme, la richesse de l'ensemble s'explique par la protection de la famille de Rohan.

Le choeur est sans doute contemporain de la sacristie à laquelle son chevet est adossé. S'étendant sur deux travées, il est percé de grandes fenêtres en plein cintre qui alternent de chaque côté avec deux grandes toiles peintes. On remarque plusieurs médaillons faîtiers. Sur l'un d'eux est peinte la colombe du Saint-Esprit. Des boiseries relient les trois autels qui forment ainsi un ensemble.

La richesse du décor de la chapelle tient à ses lambris peints qui dissimulent la voûte. Peints en 1705 par la Palme, artiste peut-être d'origine Espagnole, ils sont complétés par DEDUY en 1778 et restaurés par Blévin en 1814. A l'intérieur de compartiments en trompe l'oeil, ils développent la vie de la vierge et les mystères du Rosaire au-dessus des portraits des Évangélistes, des Pères et des Réformateurs de l'Eglise outre celui du roi Louis XIII. Dans cette thématique iconographique à la gloire de la Contre-Réforme, on croit toutefois deviner Luther, aux idées duquel la famille de Rohan, commanditaire de l'ensemble, se rallie précocement.

Sur le mur du chevet, l'autel majeur s'inscrit dans un grand retable de bois. L'étage noble se déploie en trois volets dessinés par des colonnes corinthiennes qui simulent le marbre. Le tableau central représente le don du Rosaire par la Vierge à saint Dominique et à sainte Catherine de Sienne. Il est un des éléments de la série des quinze tableaux du Rosaire qui s'achève par le couronnement de la Vierge. Aux ailes, deux fausses niches décorées présentent saint Etienne et saint Laurent portant respectivement une grosse pierre et un gril, instruments de leur supplice. Au-dessous, une inscription commémore la célébration en 1877 de la première messe pontificale de Mgr Le Berre, enfant de Neulliac.

Plusieurs statues représentent la dédicataire de la chapelle. Elle est promenée lors des processions, spécialement le jour du pardon célébré le premier dimanche après l'Assomption. Reposant sur un piédestal, elle figure la Vierge assise avec sur ses genoux son Enfant couronné en train de bénir.