L'église des Carmélites est la seule église médiévale d'ordre mendiant encore conservée à Mayence – et elle n'est en aucun cas une « vieille bâtisse » ! Les premiers Carmélites
arrivèrent à Mayence vers 1270. Le premier monastère proprement dit fut construit en même temps que l'église dans la première moitié du XIVe siècle. Dans le cadre de la sécularisation, le monastère a été supprimé en 1802. Ce n'est que plus de cent ans plus tard, en 1924, que l'église des Carmélites a été restituée à l'ordre mendiant établi à Mayence depuis 1270. Jusqu'alors, elle servait d'entrepôt et n'a été sauvée de la démolition que grâce aux protestations des citoyens de Mayence.
La construction du monastère actuel a commencé en 1963. Depuis 1964, des moines vivent à nouveau dans le monastère attenant et redonnent vie à l'église du monastère datant du début du XIVe siècle.

Malgré les nombreuses modifications apportées au fil des siècles, l'église des Carmélites a conservé son aspect d'origine. Seules les peintures du plafond sont des copies. Parmi les éléments remarquables, citons le retable du maître-autel datant du XIVe siècle et orné d'un bas-relief de 1517, la « Vierge aux vignes » (vers 1400) et les vitraux modernes de Jan Schoenaker (1970). Le vitrail central du chœur représente les armoiries de la ville de Mayence ainsi que deux « Mainzelmännchen ».

En 2009/2010, d'importants travaux de rénovation intérieure ont été entrepris, notamment la création d'un îlot central sur lequel trône un nouvel autel en bois.