Avant que l'association d'éducation populaire de Wiesbaden ne se dissolve le 15 février 1936, l'ensemble du fonds des bibliothèques populaires fut transféré à la ville de Wiesbaden en 1934, y compris une petite collection de partitions. La date de création de la Musikbücherei (aujourd'hui Musikbibliothek Wiesbaden) se trouve dans un rapport sur le 50e anniversaire : 28 avril 1937. Dans la collection de la Rheinstraße, qui comptait à l'époque environ 1800 partitions musicales, on trouvait surtout des partitions pour piano, pour voix ainsi que des réductions pour piano".

La collection ne grandit que lentement. Il n'y eut un spécialiste de la musique qu'à partir de 1953, avec le Dr Wolfgang Sichardt, musicologue et bibliothécaire, dans la Schützenhofstraße, où la bibliothèque populaire et la bibliothèque musicale étaient encore réunies sous le même toit. Il a géré la collection jusqu'en 1976 et a répertorié pendant cette période environ 9500 partitions et 2600 ouvrages spécialisés. Dès 1956, il commença à constituer un fonds de disques, aujourd'hui les archives de disques de la bibliothèque musicale. Sous sa direction, le fonds a atteint un total de 15 250 unités de médias.

L'agrandissement constant exigeait des locaux appropriés. En 1964, la bibliothèque musicale, séparée de la Volksbücherei, emménagea dans ses propres locaux au numéro 1 de la Bierstadter Str.

Après la reprise de la direction par Uta Strobel en 1976, le déménagement suivant dans la Humboldtstr. 6 eut lieu dès 1977. Sur environ 220 m², une collection de musique de choix se présentait dans une villa de style classique. Les partitions, qui n'étaient à l'époque qu'un fonds de comptoir et ne pouvaient être empruntées que par l'intermédiaire d'un appareil à cartes, furent transformées en un fonds moderne en libre accès ; une tâche de longue haleine qui ne fut achevée qu'en 1991.

En 1987, à l'occasion du 50e anniversaire de la bibliothèque musicale, Uta Strobel a commencé à constituer une collection de CD. Aujourd'hui, les visiteurs peuvent choisir parmi un stock de plus de 18.000 CD. Une fois de plus, ce sont surtout des raisons de place qui ont contraint à un nouveau déménagement en 1992, cette fois-ci dans la Sonnenberger Str. 14, près du Kurhaus et du Hessisches Staatstheater. Sur une surface de 600 m², les amateurs de musique pouvaient trouver leur bonheur dans un fonds qui s'élevait entre-temps à 47.000 unités de médias. Du côté officiel, le nouveau site était également considéré comme une solution intermédiaire. Un autre déménagement s'annonça très tôt. En novembre 1999, il fut transféré à la Schillerplatz 1-2, à proximité immédiate de l'école de musique et d'art de Wiesbaden, de l'académie de musique de Wiesbaden, du service culturel, du service scolaire et du département de la culture, cette fois sous la direction de Claudia Monien (depuis 1995). A partir de 2000, la saisie des données du fonds a commencé ici et s'est poursuivie jusqu'à l'été 2005. Depuis, un logiciel de bibliothèque facilite le prêt et la recherche au quotidien et offre en outre au public intéressé le service de catalogue sur Internet.

Aujourd'hui, avec un fonds très bien développé de partitions, d'ouvrages spécialisés et de médias audiovisuels ainsi que des archives de disques, la bibliothèque musicale est un point de repère important pour les amateurs et les professionnels de tous les domaines musicaux. Depuis 1998, l'association de promotion de la bibliothèque musicale "Prima La Musica" contribue également de manière déterminante à ce succès.

En 2014, la bibliothèque musicale a emménagé dans ses nouveaux locaux de la médiathèque Mauritius dans la Hochstättenstraße, en collaboration avec la bibliothèque centrale des bibliothèques municipales de Wiesbaden et le Medienzentrum.