Saint-Vigor-des-Mézerets appartient au XIIe siècle à la famille Le Boeuf, qui possède aussi Estry et le domaine de Cantelou, à La Roque. A la suite de diverses alliances, Saint-Vigor-des-Mézerets passe dans la famille de Clinchamps.
L'existence du moulin est attestée dès le XIIe siècle. Edifié sur le fief de la famille Le Boeuf, le moulin est aujourd'hui le seul, avec le hameau, à conserver le nom. Il s'agit d'un moulin à eau seigneurial : les paysans y amenaient leur grain à moudre et payaient au meunier, agent seigneurial, la banalité exigée.
L'ancien château des Mézerets est très grossièrement construit. La plus grande partie du bâtiment paraît dater du XVIIe siècle. Cependant, quelques accolades et un linteau de fenêtre, portant des sculptures figurant un cordage, semble attester une fondation plus ancienne (XIIIe ou XIVe siècle). A l'intérieur du château, la grande salle du rez-de-chaussée, dans laquelle débouche la tourelle, conserve encore quelques boiseries du XVIIe.