En 1820 , Wilhelm Herzog zu Nassau céda une partie du terrain de l'ancien château à la communauté catholique pour la construction d'une église. Mais comme le terrain était marécageux, la commune le vendit en 1826 au maître couvreur Konrad Kalb de Lorch am Rhein.

Kalb a construit un bâtiment simple de trois étages, très grand pour une maison privée, dans le style classique, qui servait non seulement d'habitation, mais abritait également l'auberge "Zum deutschen Haus". Kalb y tenait également un magasin de denrées coloniales et un distributeur de matériaux de construction. Des locaux étaient également loués à Stephan Herber, qui y a installé la Hirsch-Apotheke.

Pendant la construction du château de la ville, il s'avéra que celui-ci était trop petit pour accueillir une cour plus importante. C'est ainsi que le duc Wilhelm a acheté la propriété de Kalb peu avant sa mort en 1839. Son successeur, le duc Adolph zu Nassau, fit démolir les restes de l'ancien château qui se trouvaient encore dans la cour et y construisit le manège et le bâtiment des écuries. La maison jumelée de Kalb accueillit la maréchaussée de la cour ducale et porta depuis le nom de Kavalierhaus.

Pendant la Seconde Guerre mondiale, la Kavalierhaus a été tellement détruite qu'il n'était pas possible de la reconstruire. La ville a donc lancé un concours d'architectes dans le but de construire un immeuble de bureaux pour les employés de l'Office fédéral des statistiques, avec un étage de plus que la Kavalierhaus. Le style du nouveau bâtiment s'inspirait du classicisme tardif du bâtiment précédent. En 1953, les bureaux de l'Office fédéral de la statistique ont pu y emménager.

Depuis 1975, le bâtiment est utilisé par le Parlement du Land de Hesse.