Les hôpitaux du Moyen Âge ne correspondaient pas à ce que l'on imagine aujourd'hui. Le Heilig-Geist était un établissement polyvalent, une sorte de « centre mixte ». Y vivaient des pèlerins et des sans-abri, des étrangers et des pauvres, des personnes âgées, mais aussi des malades, ces derniers représentant toutefois une minorité. Leur prise en charge n'était donc pas une priorité. L'étage inférieur était probablement réservé aux hommes, tandis que les femmes étaient logées à l'étage supérieur.

À cette époque, la charité publique étant une affaire purement ecclésiastique, la prise en charge des résidents était confiée à la confrérie du Saint-Esprit. Celle-ci comprenait des hommes et des femmes qui avaient prononcé des vœux monastiques et s'étaient engagés à servir le Saint-Esprit toute leur vie (Dr Ludwig Falck).

La situation particulière du bâtiment, qui au XIIIe siècle dépassait de moitié les remparts côté Rhin, permettait aux retardataires d'accéder à l'hôpital par le portail est, même après la fermeture des portes de la ville.

Cette coutume fut maintenue plus tard, après le déplacement des remparts, grâce à une petite porte située sur le côté sud-est de ceux-ci. Le tracé particulier des remparts obligeait également les gardes en patrouille à passer par une porte à l'étage supérieur de l'hôpital pour rejoindre la suite des remparts par une autre porte lors de leur trajet entre la tour de fer et la porte des poissons.

Dès 1244, la gestion de l'hôpital fut transférée à la ville désormais libre, mais avec la perte de la liberté municipale en 1462, elle revint à l'Église, qui transforma alors le bâtiment en maison de retraite pour femmes. Sous les nouveaux anciens maîtres, l'intérieur du bâtiment fut partiellement rénové à la fin du XVe siècle, à l'époque du gothique tardif. Les fenêtres romanes furent également remplacées par de hautes fenêtres gothiques.

En 1804, les Français ordonnèrent la fermeture des anciens hôpitaux de Mayence. Par la suite, l'hôpital Heilig-Geist servit à différentes fins, il fut même utilisé comme entrepôt et pour des cours de gymnastique.

En 1863, la brasserie Brey'sche Aktien-Brauerei y ouvrit pour la première fois un restaurant. À cette époque, l'hôpital appartenait à la communauté catholique allemande, qui célébrait ses offices religieux à l'étage supérieur du bâtiment. En 1888, il fut vendu à la brasserie Mainzer Aktienbrauerei.

Lors du raid aérien mené par l'armée de l'air britannique sur Mayence le 27 février 1945, tout le centre-ville fut ravagé par les flammes. Le Heilig-Geist fut également touché. Les dégâts furent toutefois limités. Les dommages les plus importants concernèrent le toit, qui put être reconstruit peu après la fin de la guerre.

Dans les années 1950, l'église Heilig-Geist était une salle de danse très prisée. À partir de 1975, des travaux de restauration ont permis de remettre à nu l'hôpital qui, au cours des siècles précédents, avait été considérablement agrandi et transformé, notamment du côté du Rhin.

Dans le but de redonner au bâtiment son aspect roman d'origine, les éléments de style gothique tardif de la construction extérieure, y compris les fenêtres à meneaux, ont toutefois été supprimés.