Los inicios del archivo municipal de Wiesbaden están rodeados de misterio. Su historia se caracteriza inicialmente por graves pérdidas de documentos: gran parte de los documentos de la ciudad fueron víctimas del incendio de la ciudad en 1547. Tras los saqueos de los soldados durante la Guerra de los Treinta Años, numerosos documentos judiciales y facturas de los siglos XIV-XVII fueron finalmente destruidos en 1716. Una y otra vez, los escasos fondos fueron mal almacenados y expuestos a condiciones climáticas desfavorables y a la destrucción por los ratones.

A partir del siglo XVI, el archivo municipal se albergó en la torre del reloj de la Marktstrasse, desde 1873 en el desván del antiguo ayuntamiento, desde 1880 en una sala de la torre de la Marktkirche y desde 1892 en el nuevo ayuntamiento.

Los historiadores Karl Rossel y Friedrich Otto prestaron grandes servicios a su conservación y análisis. Rossel organizó los archivos existentes en 1850-51 y salvó de una mayor destrucción los documentos que aún se conservaban en el antiguo ayuntamiento. El traslado al nuevo ayuntamiento vino acompañado del nombramiento del primer archivero municipal, Christian Spielmann. El 15 de mayo de 1892, presentó al público el archivo completamente amueblado y catalogado.

Tras la muerte de Spielmann en 1917, su puesto no se cubrió y poco después comenzó una odisea para el archivo municipal, que acabó acompañada de la pérdida de documentos. Después de que en 1924-33 los fondos se depositaran en la Biblioteca Estatal de Nassau, el magistrado los cedió a los Archivos Estatalesde Wiesbaden (Hessian Main State Archives Wiesbaden) en la resolución sobre la "Supresión de los Archivos Municipales" de 5 de julio de 1933.

Durante la Segunda Guerra Mundial, fueron trasladados a la fortaleza de Ehrenbreitstein, cerca de Coblenza, y a un sótano de la escuela de niños de la calle Hebbelstraße. Mientras que estos documentos sobrevivieron indemnes a la guerra, las colecciones de libros que hasta entonces habían permanecido en la Biblioteca Estatal fueron devueltas al ayuntamiento en 1942, donde fueron víctimas del bombardeo de febrero de 1945, incluida toda la colección de periódicos. Casi todo el material escrito de la administración principal creado durante el "Tercer Reich" fue destruido deliberadamente por orden del alcalde nazi Felix Piékarski antes de la entrada de las tropas estadounidenses en marzo de 1945 o se perdió cuando la administración municipal fue trasladada al centro de Alemania. Piékarski hizo quemar en Bad Elster el personal y los archivos secretos que había llevado consigo durante su huida. Sólo se conservó un puñado de objetos, que fueron devueltos a Wiesbaden tras la firma del acuerdo cultural entre la República Federal y la RDA en 1986.

Tras la Segunda Guerra Mundial, el recién creado archivo municipal utilizó durante unos años salas de la calle Schützenhofstraße 4 y volvió a abrirse al público en 1949. En 1951 se trasladó al ayuntamiento, que entretanto había sido reconstruido. Sin embargo, sólo fue viable como institución gracias a las colecciones de historia local de Ludwig Gärtner, legadas a la ciudad de Wiesbaden en su testamento. Constituyeron la base de la biblioteca y las colecciones actuales. La colección fotográfica original del archivo de la ciudad, sin embargo, se transfirió al museo de la ciudad y permaneció allí. Cuando en 1972 pasó a manos del estado de Hesse, esta extensa colección de gran calidad también cambió de manos. En 1978, el archivo se trasladó de nuevo a la Villa Humboldtstraße 6, donde gran parte de la colección tuvo que almacenarse en un sótano húmedo. Desde finales de 1989, el archivo municipal ocupa una antigua nave industrial remodelada funcionalmente en Im Rad 42.

Otro aspecto destacable de la historia del archivo municipal es su conexión con otros ámbitos de responsabilidad. Spielmann no sólo trabajó como archivero, sino también como estadístico. De 1948 a 1991, la llamada biblioteca administrativa, que se encargaba de todas las adquisiciones de libros para la administración de la ciudad de Wiesbaden, estuvo vinculada al archivo en una unión personal. En 1987 se inició una nueva catalogación de los fondos. En 2001 se creó un "archivo digital multimedia" para catalogar y continuar los fondos audiovisuales. Con la fundación de la Asociación para la Promoción del Archivo Municipal de Wiesbaden en 2005, se pusieron nuevos acentos.

Vinculado al Archivo de la Ciudad se encuentra el departamento "Trabajo en lugares conmemorativos", que coordina en particular las numerosas actividades de la cultura conmemorativa de Wiesbaden, organiza las correspondientes series de actos y se ocupa del lugar conmemorativo del campo de concentración Unter den Eichen.