Du portail dentrée, on distingue clairement l'avant-cour entourée de communs et la cour proprement dite, séparée par un muret en face de vous. L'ensemble des bâtiments du château autour de la cour construits au XIVème, XVème et XVIème siècles ont été remaniés au XVIIème pour leur donner l'apparente unité actuelle. De grandes ouvertures ont remplacé les fenêtres à meneaux, les quatre pavillons d'angle ont été dessinés et les intérieurs sont alors complètement réaménagés pour répondre aux nouveaux besoins de l'époque. Le château de Callac perd tout rôle défensif et devient une propriété d'agrément.

Vous pouvez observer de droite à gauche :
- La « maison du Prieur », bâtie au XVIIème siècle, reconnaissable à la cloche au dessus du toit.
- L'aile XVIème en cours de restauration. Elle abritait les fonctions administratives du château.
- En face, l'aile principale du XVème siècle. On remarque particulièrement les deux grandes lucarnes typiques de cette époque.
- A gauche, dans la cour, le quatrième pavillon, abritait la Chapelle. On distingue la fenêtre de style gothique.
- A gauche, dans l'avant-cour, le reste des communs.