Antes de que se disolviera el Volksbildungsverein Wiesbaden el 15 de febrero de 1936, en 1934 se transfirió a la ciudad de Wiesbaden todo el fondo de las Volksbüchereien, incluida una pequeña colección de partituras. La fecha de fundación de la biblioteca musical (hoy Biblioteca Musical de Wiesbaden) figura en un informe sobre su 50 aniversario: el 28 de abril de 1937. La colección de la calle Rheinstraße, que en aquel momento contaba con unas 1.800 piezas musicales, incluía principalmente partituras para piano, canto y reducciones para piano".

La colección creció lentamente. Hubo que esperar hasta 1953 para que el Dr. Wolfgang Sichardt, musicólogo y bibliotecario, fuera nombrado especialista en música en la Schützenhofstraße, donde las bibliotecas pública y de música aún se encontraban bajo un mismo techo. Dirigió la colección hasta 1976 y catalogó alrededor de 9500 partituras y 2600 libros de no ficción durante este tiempo. Ya en 1956 empezó a crear una colección de discos, que hoy es el archivo discográfico de la fonoteca. Bajo su dirección, la colección creció hasta alcanzar un total de 15.250 soportes.

La constante expansión requería locales adecuados. En 1964, la fonoteca se trasladó a sus propios locales en Bierstadter Str. 1, separados de la biblioteca pública.

Después de que Uta Strobel se hiciera cargo de la dirección en 1976, el siguiente traslado a Humboldtstr. 6 tuvo lugar en 1977. En una villa clasicista de unos 220 metros cuadrados se presentó una exquisita colección de música. Las partituras, que en aquella época sólo se podían sacar en préstamo a través de máquinas expendedoras de tarjetas, se reorganizaron en una moderna colección de libre acceso; una larga tarea que no se completó hasta 1991.

En 1987, con motivo del 50 aniversario de la biblioteca musical, Uta Strobel empezó a crear una colección de CD. Hoy en día, los visitantes pueden elegir entre más de 18.000 CD. Una vez más, fueron sobre todo las limitaciones de espacio las que obligaron a la biblioteca a trasladarse de nuevo en 1992, esta vez a Sonnenberger Str. 14, cerca de la Kurhaus y del Teatro Estatal de Hesse. En 600 metros cuadrados, los aficionados a la música podían encontrar lo que buscaban en una colección que había crecido hasta los 47.000 soportes. Oficialmente, la nueva ubicación también se consideró una solución provisional. Pronto se anunció un nuevo traslado. En noviembre de 1999, la biblioteca se trasladó a Schillerplatz 1-2, en las inmediaciones de la Escuela de Música y Arte de Wiesbaden, la Academia de Música de Wiesbaden, la Oficina Cultural, la Autoridad Educativa y el Departamento de Cultura, esta vez bajo la dirección de Claudia Monien (desde 1995). A partir de 2000 comenzó aquí la recopilación de datos del inventario, que duró hasta el verano de 2005. Desde entonces, los programas informáticos de la biblioteca facilitan el préstamo diario y la investigación, y también ofrecen al público interesado un servicio de catálogo en línea.

Hoy en día, la biblioteca musical, con su bien surtida colección de partituras, libros de no ficción y medios audiovisuales, así como el archivo discográfico, es un importante punto de contacto para aficionados y profesionales de todos los ámbitos de la música. La asociación de apoyo a la biblioteca musical "Prima La Musica" también ha desempeñado un papel clave en este éxito desde 1998.

En 2014, la fonoteca se trasladó a sus nuevas instalaciones en la Mauritius Mediathek de la Hochstättenstraße junto con la Biblioteca Central de las Bibliotecas Municipales de Wiesbaden y el Centro de Medios de Comunicación.