Înainte de dizolvarea Volksbildungsverein Wiesbaden la 15 februarie 1936, întregul fond al Volksbüchereien a fost transferat orașului Wiesbaden în 1934, inclusiv o mică colecție de partituri. Data înființării bibliotecii muzicale (în prezent Biblioteca Muzicală Wiesbaden) poate fi găsită într-un raport privind cea de-a 50-a aniversare a acesteia: 28 aprilie 1937. Colecția din Rheinstraße, care la acea vreme cuprindea aproximativ 1800 de piese muzicale, includea în principal partituri pentru pian, voce și reduceri de pian."

Colecția a crescut lent. Abia în 1953, Dr. Wolfgang Sichardt, muzicolog și bibliotecar, a fost numit specialist pentru muzică în Schützenhofstraße, unde bibliotecile publice și muzicale erau încă adăpostite sub același acoperiș. El a gestionat colecția până în 1976 și a catalogat aproximativ 9500 de partituri muzicale și 2600 de cărți de non-ficțiune în această perioadă. Încă din 1956, a început să construiască o colecție de discuri, astăzi arhiva de discuri a bibliotecii muzicale. Sub conducerea sa, colecția a crescut până la un total de 15 250 de unități media.

Expansiunea constantă a necesitat spații adecvate. În 1964, biblioteca muzicală s-a mutat în propriul sediu din Bierstadter Str. 1, separat de biblioteca publică.

După ce Uta Strobel a preluat conducerea în 1976, următoarea mutare în Humboldtstr. 6 a avut loc în 1977. O colecție muzicală rafinată a fost prezentată pe aproximativ 220 de metri pătrați într-o vilă clasicistă. Partiturile muzicale, care la acea vreme puteau fi împrumutate doar prin intermediul aparatelor de carte, au fost reorganizate într-o colecție modernă cu acces liber; o sarcină de lungă durată care a fost finalizată abia în 1991.

Pentru a marca cea de-a 50-a aniversare a bibliotecii muzicale în 1987, Uta Strobel a început să construiască o colecție de CD-uri. Astăzi, vizitatorii pot alege dintr-un stoc de peste 18.000 de CD-uri. Din nou, constrângerile de spațiu au forțat biblioteca să se mute din nou în 1992, de data aceasta în Sonnenberger Str. 14, lângă Kurhaus și Teatrul de Stat din Hessa. Pe 600 de metri pătrați, pasionații de muzică puteau găsi ceea ce căutau într-o colecție care ajunsese acum la 47 000 de unități media. Oficial, noua locație a fost văzută și ca o soluție provizorie. O nouă mutare a fost anunțată de timpuriu. În noiembrie 1999, biblioteca s-a mutat în Schillerplatz 1-2, în imediata vecinătate a Școlii de Muzică și Arte din Wiesbaden, a Academiei de Muzică din Wiesbaden, a Oficiului Cultural, a Autorității pentru Educație și a Departamentului pentru Cultură, de data aceasta sub conducerea Claudiei Monien (din 1995). Începând cu anul 2000, aici a început colectarea datelor pentru inventar, care a durat până în vara anului 2005. De atunci, software-ul de bibliotecă a facilitat împrumutul zilnic și cercetarea și oferă, de asemenea, publicului interesat un serviciu de catalog online.

Astăzi, biblioteca muzicală, cu colecția sa bine aprovizionată de partituri, cărți de non-ficțiune și mijloace audiovizuale, precum și arhiva de discuri, este un punct de contact important pentru amatori și profesioniști din toate domeniile muzicale. Asociația de sprijinire a bibliotecii muzicale "Prima La Musica" a avut, de asemenea, o contribuție semnificativă la acest succes încă din 1998.

În 2014, biblioteca muzicală s-a mutat în noul său sediu, în Mauritius Mediathek din Hochstättenstraße, împreună cu biblioteca centrală a bibliotecilor orașului Wiesbaden și cu centrul media.