La comunità ebraica di Magonza acquisì fama grazie all’opera dei suoi studiosi, che fecero di Magonza un centro culturale dell’ebraismo nel Medioevo. Intorno all'anno 1000, a Magonza operò Gerschom ben Jehuda, uno dei più influenti studiosi dell'Occidente, le cui interpretazioni giuridiche e le cui ordinanze mantennero la loro validità per secoli dopo la sua morte. Ancora oggi, una lapide commemorativa medievale nell'antico cimitero ebraico ricorda questa personalità eccezionale.

Il quartiere ebraico confinava a nord-ovest direttamente con il quartiere commerciale tra la Fischtor e la chiesa dei Carmelitani e all’epoca non era ancora isolato dai cristiani. Al contrario, ebrei e cristiani vivevano in stretta vicinanza e in prossimità di monasteri e chiese, una delle quali, la cappella di Santa Maria am Flachsmarkt, portava il soprannome di "inter judeos" (in mezzo agli ebrei). 

A Magonza, a seguito delle distruzioni causate da incendi e guerre e della successiva ricostruzione, non sono visibili resti del quartiere ebraico medievale. Ciò vale anche per il ghetto sorto in seguito a nord-ovest del quartiere ebraico medievale. In molti luoghi, nel XV secolo, si riteneva che, con l'allentamento del divieto cristiano di praticare l'usura, gli ebrei non fossero più necessari. Gli ebrei di Magonza furono espulsi nel 1438 e la loro sinagoga fu utilizzata come deposito comunale di carbone.

Nell’estate del 1445 si poté procedere, seppur per un breve periodo, alla rifondazione della comunità ebraica. A una nuova espulsione (1462) seguì infine, nel 1470/71, l’allontanamento degli ebrei dall’intero arcivescovado di Magonza. L’arcivescovo Adolf II sottolineò l’irrevocabilità di questa decisione trasformando la sinagoga in una cappella dedicata a Ognissanti. Da allora, per circa un secolo, a Magonza non ci fu più alcuna comunità ebraica. Solo la comunità di Worms può vantare una tradizione ininterrotta, la cui storia millenaria fu interrotta dalla Shoah. Le comunità erano tuttavia complessivamente indebolite e nemmeno le nuove fondazioni a Spira e Magonza nel XVIII secolo riuscirono a riallacciarsi al grande “periodo SchUM”. Tutto, compresa l’architettura, cambiò. La nuova sinagoga più imponente fu la nuova sinagoga principale di Magonza, costruita su progetto dell’architetto Willy Graf nel 1911/12. L’imponente edificio rispondeva, nella sua architettura, alle esigenze della grande comunità cittadina di Magonza.

Questi provengono dalla collezione dell’«Associazione per la conservazione delle antichità ebraiche di Magonza», che il 3 ottobre 1926 inaugurò il Museo delle antichità ebraiche nell’ala laterale della sinagoga principale, inaugurata nel 1912 nel quartiere Neustadt di Magonza. Questo museo fu chiuso dai nazisti durante il periodo nazista. Gran parte del patrimonio di oggetti di culto, documenti e manoscritti fu distrutto nella notte dei pogrom del 9 novembre 1938. La maggior parte degli oggetti di culto salvati è esposta al Landesmuseum come prestito permanente della Comunità ebraica di Magonza.