În 1820, Wilhelm Duce de Nassau a dat o parte din terenul fostului castel comunității catolice pentru construirea unei biserici. Cu toate acestea, deoarece terenul era mlăștinos, parohia l-a vândut în 1826 maestrului Konrad Kalb din Lorch am Rhein.

Kalb a construit o clădire simplă cu trei etaje în stil neoclasic, care era foarte mare pentru o casă privată și care nu servea doar ca reședință, ci găzduia și hanul "Zum deutschen Haus". Kalb conducea, de asemenea, o băcănie și un magazin de materiale de construcții. De asemenea, camerele au fost închiriate lui Stephan Herber, care a înființat acolo farmacia Hirsch.

În timpul construcției palatului orașului, a devenit evident că acesta era prea mic pentru o curte mai mare. Prin urmare, ducele Wilhelm a achiziționat moșia Kalb cu puțin timp înainte de moartea sa în 1839. Succesorul său, ducele Adolph zu Nassau, a dispus demolarea rămășițelor vechiului castel încă în picioare din curte și a construit acolo manejul și clădirea grajdurilor. Kalb'sche Doppelhaus a adăpostit biroul mareșalului curții ducale și a fost cunoscută de atunci sub numele de Kavalierhaus.

În timpul celui de-al Doilea Război Mondial, Kavalierhaus a fost atât de grav distrusă încât nu a putut fi reconstruită. Prin urmare, orașul a organizat un concurs de arhitectură cu scopul de a construi o clădire de birouri pentru angajații Oficiului Federal de Statistică, care urma să aibă un etaj mai mult decât Kavalierhaus. Stilul noii clădiri se baza pe designul clasicist târziu al clădirii anterioare. Birourile Oficiului Federal de Statistică au putut fi mutate în 1953.

Din 1975, clădirea a fost folosită de Parlamentul landului Hessian.