Attesté dès le début du XVè siècle, l’hôpital de Commercy est transformé en 1708, en couvent d’Ursulines. Transféré avenue Stanislas, il est confié aux sœurs de Saint-Charles, dont il adopte le nom. Très vite, il est nécessaire de l’agrandir, et la princesse Elisabeth Charlotte de Vaudémont finance l’opération. Une première campagne de travaux, de 1716 à 1720, permet de construire le bâtiment principal et la chapelle. Une seconde campagne est réalisée en 1739 et 1740. En 1816, un bâtiment est rajouté pour abriter une école et un pensionnat.
L’origine du prieuré Notre-Dame-de-Breuil est difficile à préciser. D’abord occupé par des religieuses, le monastère est confié à des bénédictins dès le XIè siècle. il dépend alors de l’abbaye de Molesme. Au XVIIè siècle, le prieuré adhère à la congrégation de Saint-Vanne et Saint-Hydulphe, mouvement né en lorraine des grandes réformes post-tridentines. Il sert de scolasticat à la congrégation. Les bâtiments conventuels sont entièrement reconstruits au début du XVIIIè siècle sous la direction de Dom Léopold Durand. De l’époque bénédictine, ne reste aujourd’hui que l’escalier d’honneur à quatre volées et rampe en fer forgé. Après la révolution, l’église prieurale est démolie. La sous-préfecture et la gendarmerie sont installées dans les bâtiments conventuels jusqu’en 1835, avant l’école normale. les bâtiments accueillent désormais la Maison des associations de la ville.