Gli inizi dell'archivio della città di Wiesbaden sono avvolti nel mistero. La sua storia è inizialmente caratterizzata da gravi perdite di documenti: gran parte dei documenti della città fu vittima dell'incendio del 1547. Dopo il saccheggio da parte dei soldati durante la Guerra dei Trent'anni, numerosi documenti giudiziari e fatture del XIV-XVII secolo furono definitivamente distrutti nel 1716. I pochi documenti conservati furono conservati in modo improprio ed esposti a condizioni climatiche sfavorevoli e alla distruzione da parte dei topi.

A partire dal XVI secolo, l'archivio comunale fu ospitato nella torre dell'orologio sulla Marktstrasse, dal 1873 nella soffitta del vecchio municipio, dal 1880 in una sala della torre della Marktkirche e dal 1892 nel nuovo municipio.

Gli storici Karl Rossel e Friedrich Otto hanno reso grandi servizi alla sua conservazione e analisi. Rossel organizzò gli archivi esistenti nel 1850-51 e salvò i documenti ancora presenti nel vecchio municipio da ulteriori distruzioni. Il trasferimento nel nuovo municipio fu accompagnato dalla nomina del primo archivista cittadino, Christian Spielmann. Il 15 maggio 1892, egli presentò al pubblico l'archivio completamente arredato e catalogato.

Dopo la morte di Spielmann, avvenuta nel 1917, il suo posto non fu occupato e poco dopo iniziò un'odissea per l'archivio cittadino, accompagnata dalla perdita di documenti. Dopo essere stato ospitato nella Biblioteca di Stato di Nassau nel 1924-33, il magistrato lo cedette all'Archivio di Stato di Wiesbaden(Archivio Principale di Stato dell'Assia di Wiesbaden) con la risoluzione sulla "Soppressione dell'Archivio cittadino" del 5 luglio 1933.

Durante la Seconda guerra mondiale furono trasferiti nella fortezza di Ehrenbreitstein, vicino a Coblenza, e in una cantina della scuola maschile di Hebbelstraße. Mentre questi documenti sopravvissero indenni alla guerra, le collezioni di libri che fino ad allora erano rimaste nella Biblioteca di Stato furono restituite al municipio nel 1942, dove caddero vittime dei bombardamenti del febbraio 1945, compresa l'intera collezione di giornali. Quasi tutto il materiale scritto dell'amministrazione principale creato durante il "Terzo Reich" fu deliberatamente distrutto su ordine del sindaco nazista Felix Piékarski prima dell'arrivo delle truppe americane nel marzo 1945, oppure andò perduto quando l'amministrazione cittadina fu trasferita nella Germania centrale. Piékarski fece bruciare a Bad Elster i documenti personali e segreti che aveva portato con sé durante la fuga. Solo pochi oggetti si sono conservati e sono stati restituiti a Wiesbaden dopo la firma dell'accordo culturale tra la Repubblica Federale e la DDR nel 1986.

Dopo la seconda guerra mondiale, l'archivio comunale di nuova istituzione utilizzò per alcuni anni i locali della Schützenhofstraße 4 e fu riaperto al pubblico nel 1949. Nel 1951 si trasferì nel municipio, che nel frattempo era stato ricostruito. Tuttavia, divenne un'istituzione vitale solo grazie alle collezioni di storia locale di Ludwig Gärtner, lasciate in eredità alla città di Wiesbaden nel suo testamento. Esse hanno costituito la base dell'attuale biblioteca e delle collezioni. La collezione fotografica originale dell'archivio cittadino, tuttavia, fu trasferita al museo della città e lì rimase. Quando nel 1972 passò allo Stato dell'Assia, anche questa vasta collezione di alta qualità passò di mano. Nel 1978 l'archivio si trasferì nuovamente a Villa Humboldtstraße 6, dove gran parte della collezione dovette essere conservata in una cantina umida. Dalla fine del 1989, l'archivio comunale utilizza un ex capannone industriale, ristrutturato in modo funzionale, in Im Rad 42.

Un altro aspetto notevole della storia dell'archivio comunale è il suo collegamento con altre aree di responsabilità. Spielmann non lavorò solo come archivista, ma anche come statistico. Dal 1948 al 1991, la cosiddetta biblioteca amministrativa, che si occupava di tutte le acquisizioni librarie per l'amministrazione della città di Wiesbaden, era collegata all'archivio in un'unione personale. Nel 1987 è stata avviata una nuova catalogazione del patrimonio. Nel 2001 è stato creato un "archivio digitale multimediale" per catalogare e continuare il patrimonio audiovisivo. Con la fondazione dell'Associazione per la promozione dell'Archivio della città di Wiesbaden nel 2005, sono stati fissati altri nuovi obiettivi.

Collegato all'Archivio della città è il dipartimento "Lavoro sul sito commemorativo", che coordina in particolare le numerose attività della cultura della memoria di Wiesbaden, organizza le relative serie di eventi e si occupa del sito commemorativo del campo di concentramento di Unter den Eichen.