En 1820, Guillermo Duque de Nassau cedió parte de los terrenos del antiguo castillo a la comunidad católica para la construcción de una iglesia. Sin embargo, como el terreno era pantanoso, la parroquia lo vendió en 1826 al maestro techador Konrad Kalb, de Lorch am Rhein.

Kalb construyó un sencillo edificio de tres plantas de estilo neoclásico, muy grande para ser una casa particular, que no sólo servía de residencia, sino que también albergaba la posada "Zum deutschen Haus". Kalb también regentaba una tienda de ultramarinos y otra de materiales de construcción. También alquiló habitaciones a Stephan Herber, que instaló allí la farmacia Hirsch.

Durante la construcción del palacio de la ciudad, se hizo evidente que era demasiado pequeño para una corte mayor. Por ello, el duque Guillermo adquirió la finca de Kalb poco antes de su muerte en 1839. Su sucesor, el duque Adolfo de Nassau, mandó demoler los restos del antiguo castillo que aún quedaban en el patio y construyó allí el picadero y el edificio de las caballerizas. La Kalb'sche Doppelhaus albergó la oficina del mariscal de la corte ducal y desde entonces se conoce como la Kavalierhaus.

Durante la Segunda Guerra Mundial, la Kavalierhaus quedó tan destruida que no pudo reconstruirse. Por ello, la ciudad organizó un concurso de arquitectura con el objetivo de construir un edificio de oficinas para los empleados de la Oficina Federal de Estadística, que debía tener una planta más que la Kavalierhaus. El estilo del nuevo edificio se basaba en el diseño clasicista tardío del edificio anterior. Las oficinas de la Oficina Federal de Estadística pudieron trasladarse en 1953.

Desde 1975, el edificio es utilizado por el Parlamento del Estado de Hesse.