Перед тим, як 15 лютого 1936 року було розпущено Народне об'єднання Вісбадена (Volksbildungsverein Wiesbaden), у 1934 році всі фонди Народної бібліотеки були передані місту Вісбаден, включно з невеликою колекцією нотних видань. Дату заснування музичної бібліотеки (нині Вісбаденська музична бібліотека) можна знайти у звіті до її 50-річчя: 28 квітня 1937 р. Колекція на Рейнштрассе, яка на той час налічувала близько 1800 нот, в основному включала ноти для фортепіано, голосу та фортепіанних скорочень".

Колекція зростала дуже повільно. Лише 1953 року д-р Вольфґанґ Сіхардт, музикознавець і бібліотекар, був призначений спеціалістом з музики на Шютценгофштрассе, де публічна і музична бібліотеки все ще розміщувалися під одним дахом. Він керував колекцією до 1976 року і за цей час каталогізував близько 9500 нот і 2600 нехудожніх книг. Ще в 1956 році він почав формувати колекцію грамплатівок, яка сьогодні є фоноархівом музичної бібліотеки. Під його керівництвом колекція зросла до 15 250 одиниць носіїв інформації.

Постійне розширення потребувало відповідного приміщення. У 1964 році музична бібліотека переїхала у власне приміщення на вул. Бірштадтер, 1, окремо від публічної бібліотеки.

Після того, як у 1976 році керівництво перебрала Ута Штробель, у 1977 році відбувся наступний переїзд на Гумбольдтштрассе, 6. Вишукана музична колекція була представлена на площі близько 220 квадратних метрів у класицистичній віллі. Ноти, які на той час можна було позичати лише через книгопрокат, було реорганізовано в сучасну колекцію з відкритим доступом; це була тривала робота, яка завершилася лише в 1991 році.

Щоб відзначити 50-річчя музичної бібліотеки у 1987 році, Ута Штробель почала збирати колекцію компакт-дисків. Сьогодні відвідувачі можуть вибирати з понад 18 000 компакт-дисків. Знову ж таки, саме брак місця змусив бібліотеку переїхати у 1992 році, цього разу на вулицю Зонненберґер, 14, неподалік від Курхаусу та Гессенського державного театру. На 600 квадратних метрах музичні ентузіасти могли знайти те, що шукали, в колекції, яка на той час зросла до 47 000 медіа-одиниць. Офіційно нове місце розташування також розглядалося як тимчасове рішення. Незабаром було оголошено про наступний переїзд. У листопаді 1999 року бібліотека переїхала на Шиллерплац 1-2, у безпосередній близькості від Вісбаденської школи музики та мистецтва, Вісбаденської музичної академії, Управління культури, Управління освіти та Департаменту культури, цього разу під керівництвом Клаудії Монієн (з 1995 року). З 2000 року тут розпочався збір даних для інвентаризації, який тривав до літа 2005 року. Відтоді бібліотечне програмне забезпечення полегшило щоденну видачу та пошук, а також пропонує зацікавленим користувачам послугу онлайн-каталогу.

Сьогодні музична бібліотека з її добре укомплектованою колекцією нот, науково-популярних книг та аудіовізуальних матеріалів, а також архівом грамплатівок є важливим пунктом контакту для любителів і професіоналів з усіх сфер музики. Асоціація підтримки музичної бібліотеки "Prima La Musica" також зробила значний внесок у цей успіх з 1998 року.

У 2014 році музична бібліотека переїхала до нового приміщення в Медіатеці Маврикія на вулиці Гохштеттенштрассе разом із Центральною бібліотекою міської бібліотеки Вісбадена та Медіацентром.