W 1820 r. Wilhelm książę Nassau przekazał część dawnych terenów zamkowych wspólnocie katolickiej pod budowę kościoła. Ponieważ jednak teren był podmokły, parafia sprzedała go w 1826 r. mistrzowi dekarskiemu Konradowi Kalbowi z Lorch am Rhein.

Kalb zbudował prosty trzypiętrowy budynek w stylu neoklasycystycznym, który był bardzo duży jak na dom prywatny i służył nie tylko jako rezydencja, ale także mieścił gospodę "Zum deutschen Haus". Kalb prowadził również sklep spożywczy i sklep z materiałami budowlanymi. Pomieszczenia były również wynajmowane Stephanowi Herberowi, który założył tam aptekę Hirscha.

Podczas budowy pałacu miejskiego okazało się, że jest on zbyt mały dla większego dworu. Książę Wilhelm nabył więc posiadłość Kalb na krótko przed swoją śmiercią w 1839 roku. Jego następca, książę Adolph zu Nassau, kazał wyburzyć pozostałości starego zamku stojące na dziedzińcu i zbudował tam ujeżdżalnię i budynek stajni. Kalb'sche Doppelhaus mieścił biuro marszałka dworu książęcego i od tego czasu znany jest jako Kavalierhaus.

Podczas II wojny światowej Kavalierhaus został tak poważnie zniszczony, że nie można było go odbudować. W związku z tym miasto zorganizowało konkurs architektoniczny, którego celem było zbudowanie budynku biurowego dla pracowników Federalnego Urzędu Statystycznego, który miał mieć o jedno piętro więcej niż Kavalierhaus. Styl nowego budynku opierał się na późnoklasycystycznym projekcie poprzedniego budynku. Biura Federalnego Urzędu Statystycznego mogły przenieść się w 1953 roku.

Od 1975 r. budynek jest wykorzystywany przez Parlament Krajowy Hesji.