Nel 1820, il duca Wilhelm di Nassau donò una parte dell'ex castello alla comunità cattolica per la costruzione di una chiesa. Tuttavia, poiché il terreno era paludoso, nel 1826 la parrocchia lo vendette al capomastro Konrad Kalb di Lorch am Rhein.

Kalb costruì un semplice edificio a tre piani in stile neoclassico, molto grande per una casa privata, che non solo fungeva da residenza, ma ospitava anche la locanda "Zum deutschen Haus". Kalb gestiva anche una drogheria e un negozio di materiali edili. Le stanze furono affittate anche a Stephan Herber, che vi installò la farmacia Hirsch.

Durante la costruzione del palazzo di città, ci si rese conto che era troppo piccolo per una corte più grande. Il duca Guglielmo acquistò quindi la proprietà di Kalb poco prima della sua morte, avvenuta nel 1839. Il suo successore, il duca Adolph zu Nassau, fece demolire i resti dell'antico castello ancora in piedi nel cortile e vi costruì il maneggio e l'edificio delle scuderie. La Kalb'sche Doppelhaus ospitava l'ufficio del maresciallo della corte ducale e da allora è nota come Kavalierhaus.

Durante la Seconda Guerra Mondiale, la Kavalierhaus fu distrutta a tal punto da non poter essere ricostruita. La città indisse quindi un concorso di architettura con l'obiettivo di costruire un edificio per uffici per i dipendenti dell'Ufficio federale di statistica, che doveva avere un piano in più rispetto alla Kavalierhaus. Lo stile del nuovo edificio si basava sul design tardo-classico dell'edificio precedente. Gli uffici dell'Ufficio federale di statistica poterono trasferirsi nel 1953.

Dal 1975 l'edificio è utilizzato dal Parlamento dell'Assia.