Przed rozwiązaniem Volksbildungsverein Wiesbaden w dniu 15 lutego 1936 r., cały zasób Volksbüchereien został przekazany miastu Wiesbaden w 1934 r., w tym niewielka kolekcja nut. Datę założenia biblioteki muzycznej (obecnie Biblioteka Muzyczna w Wiesbaden) można znaleźć w raporcie z okazji 50. rocznicy jej powstania: 28 kwietnia 1937 r. Zbiory przy Rheinstraße, które w tym czasie obejmowały około 1800 pozycji muzycznych, zawierały głównie nuty na fortepian, głos i redukcje fortepianu".

Kolekcja rozrastała się powoli. Dopiero w 1953 r. dr Wolfgang Sichardt, muzykolog i bibliotekarz, został mianowany specjalistą ds. muzyki na Schützenhofstraße, gdzie biblioteki publiczna i muzyczna nadal mieściły się pod jednym dachem. Zarządzał kolekcją do 1976 roku i w tym czasie skatalogował około 9500 nut i 2600 książek non-fiction. Już w 1956 roku zaczął budować kolekcję płyt, która dziś jest archiwum płytowym biblioteki muzycznej. Pod jego kierownictwem kolekcja rozrosła się do 15 250 nośników.

Ciągła ekspansja wymagała odpowiedniej siedziby. W 1964 r. biblioteka muzyczna przeniosła się do własnej siedziby przy Bierstadter Str. 1, oddzielonej od biblioteki publicznej.

Po przejęciu kierownictwa przez Utę Strobel w 1976 roku, kolejna przeprowadzka do Humboldtstr. 6 miała miejsce w 1977 roku. Znakomita kolekcja muzyczna została zaprezentowana na około 220 metrach kwadratowych w klasycystycznej willi. Nuty, które w tamtym czasie można było wypożyczać tylko za pośrednictwem automatów z kartami książkowymi, zostały zreorganizowane w nowoczesną kolekcję z otwartym dostępem; długie zadanie, które zostało ukończone dopiero w 1991 roku.

Aby uczcić 50. rocznicę powstania biblioteki muzycznej w 1987 roku, Uta Strobel rozpoczęła tworzenie kolekcji płyt CD. Dziś odwiedzający mogą wybierać spośród ponad 18 000 płyt CD. Po raz kolejny to głównie ograniczenia przestrzenne zmusiły bibliotekę do ponownej przeprowadzki w 1992 roku, tym razem na Sonnenberger Str. 14, w pobliżu Kurhaus i Heskiego Teatru Państwowego. Na 600 metrach kwadratowych entuzjaści muzyki mogli znaleźć to, czego szukali w kolekcji, która wzrosła do 47 000 jednostek multimedialnych. Oficjalnie nowa lokalizacja była również postrzegana jako rozwiązanie tymczasowe. Wcześnie ogłoszono kolejną przeprowadzkę. W listopadzie 1999 r. biblioteka przeniosła się na Schillerplatz 1-2, w bezpośrednim sąsiedztwie Szkoły Muzycznej i Artystycznej w Wiesbaden, Akademii Muzycznej w Wiesbaden, Urzędu Kultury, Kuratorium Oświaty i Wydziału Kultury, tym razem pod kierownictwem Claudii Monien (od 1995 r.). Od 2000 roku rozpoczęto gromadzenie danych inwentarzowych, które trwało do lata 2005 roku. Od tego czasu oprogramowanie biblioteczne ułatwiło codzienne wypożyczanie i wyszukiwanie, a także oferuje zainteresowanym użytkownikom katalog online.

Dziś biblioteka muzyczna, z dobrze zaopatrzoną kolekcją nut, książek i mediów audiowizualnych, a także archiwum nagrań, jest ważnym punktem kontaktowym dla amatorów i profesjonalistów ze wszystkich dziedzin muzyki. Stowarzyszenie wspierające bibliotekę muzyczną "Prima La Musica" również odegrało kluczową rolę w tym sukcesie od 1998 roku.

W 2014 roku biblioteka muzyczna przeniosła się do nowej siedziby w Mauritius Mediathek przy Hochstättenstraße wraz z Biblioteką Centralną Bibliotek Miejskich Wiesbaden i Centrum Medialnym.