La chapelle, construite en granit et schiste, est en forme de croix latine. Du XV ème siècle subsistent le transept, la nef et l'amorce du choeur. Le clocher-porche est également de cette époque. Toutefois, c'est au travaux du XVIII ème siècle que la chapelle doit sa voûte, son somptueux décor intérieur et son choeur prolongé d'une sacristie axiale. Abritant en leur temps la confrérie des Âmes du purgatoire et celle du Scapulaire, elle est connue pour son pardon au mois d'août qui donne lieu à d'importantes festivités. Notre Dame de Carmès porte un nom que les générations ont déformé. Jamais ce site n'a accueilli de fondation de Carmes. Il semble bien que ce nom soit d'origine celtique, Car ar maez signifiant domaine des champs. Célébrée dans dans le livr er labourer de l'abbé Guillôme, la richesse de l'ensemble s'explique par la protection de la famille de Rohan.

Le choeur est sans doute contemporain de la sacristie à laquelle son chevet est adossé. S'étendant sur deux travées, il est percé de grandes fenêtres en plein cintre qui alternent de chaque côté avec deux grandes toiles peintes. On remarque plusieurs médaillons faîtiers. Sur l'un d'eux est peinte la colombe du Saint-Esprit. Des boiseries relient les trois autels qui forment ainsi un ensemble.

La richesse du décor de la chapelle tient à ses lambris peints qui dissimulent la voûte. Peints en 1705 par la Palme, artiste d'origine Espagnole, ils sont complétés en 1778 et restaurés par Blévin en 1814. A l'intérieur de compartiments en trompe l'oeil, ils développent la vie de la vierge et les mystères du Rosaire au-dessus des portraits des Évangélistes, des Pères et des Réformateurs de l'Eglise outre celui du roi Louis XIII. Dans cette thématique iconographique à la gloire de la Contre-Réforme, on croit toutefois deviner Luther, aux idées duquel la famille de Rohan, commanditaire de l'ensemble, se rallie précocement.

Sur le mur du chevet, l'autel majeur s'inscrit dans un grand retable de bois. L'étage noble se déploie en trois volets dessinés par des colonnes corinthiennes qui simulent le marbre. Le tableau central représente le don du Rosaire par la Vierge à saint Dominique et à sainte Catherine de Sienne. Il est un des éléments de la série des quinze tableaux du Rosaire qui s'achève par le couronnement de la Vierge. Aux ailes, deux fausses niches décorées présentent saint Etienne et saint Laurent portant respectivement une grosse pierre et un gril, instruments de leur supplice. Au-dessous, une inscription commémore la célébration en 1877 de la première messe pontificale de Mgr Le Berre, enfant de Neulliac.

Plusieurs statues représentent la dédicataire de la chapelle. Elle est promenée lors des processions, spécialement le jour du pardon célébré le premier dimanche après l'Assomption. Reposant sur un piédestal, elle figure la Vierge assise avec sur ses genoux son Enfant couronné en train de bénir.
C'est en 1983 que les travaux de restauration mettent à jour les lambris gothiques dissimulés et protégés par ceux du XVIII ème siècle. Désormais exposé à l’étage de la sacristie, il s'agit des épisodes de la vie de sainte Catherine d'Alexandrie et d'un cortège d'anges musiciens célébrant les offices liturgiques de Pâques ou de Noël. Les couleurs, sur un léger fond blanc, sont claires et neutres, rehaussées de jaune. La première scène figure la controverse avec les philosophes où sainte Catherine énumère les arguments, soufflés par un ange, qui la font triompher de ses adversaires, parmi lesquels se trouve l'empereur Maximin. Les deux autres, proches de la tradition byzantine, exécutées avec une grande habileté dans la composition et au dessin particulièrement gracieux racontent, d'une part, la conversion de l'impératrice Faustine par la sainte emprisonnée et, d'autre part, le transport du cercueil de celle-ci par les anges jusque sur le mont Sinaï. Par souci d'unité, ces lambris exceptionnels n'ont pas été remis dans la chapelle. L'ensemble de ces panneaux représente, à ce jour, le seul exemple de peinture sur bois datant de la première moitié du XV ème siècle connu en Bretagne.