През 1820 г. херцог Вилхелм Насау предоставя част от бившия замък на католическата общност за построяването на църква. Тъй като обаче земята е блатиста, през 1826 г. енорията я продава на майстора на покриви Конрад Калб от Лорх ам Рейн.

Калб построява семпла триетажна сграда в неокласически стил, която е много голяма за частна къща и служи не само за резиденция, но в нея се помещава и гостилницата "Zum deutschen Haus". Освен това Калб е имал магазин за хранителни стоки и магазин за строителни материали. Стаите били отдавани под наем и на Стефан Хербер, който открил там аптеката "Хирш".

По време на строежа на градския дворец става ясно, че той е твърде малък за по-голям съд. Затова херцог Вилхелм придобива имението Калб малко преди смъртта си през 1839 г. Неговият наследник, херцог Адолф цу Насау, нарежда да се разрушат останките от стария замък, които все още стоят в двора, и построява там манежа и сградата на конюшните. В сградата Kalb'sche Doppelhaus се помещава канцеларията на маршала на херцогския двор и оттогава тя е известна като Kavalierhaus.

По време на Втората световна война Kavalierhaus е толкова силно разрушена, че не може да бъде възстановена. Затова градът организира архитектурен конкурс с цел построяване на административна сграда за служителите на Федералната статистическа служба, която да има един етаж повече от Kavalierhaus. Стилът на новата сграда се основава на къснокласицистичния дизайн на предишната сграда. Офисите на Федералната статистическа служба могат да се преместят в нея през 1953 г.

От 1975 г. сградата се използва от парламента на провинция Хесен.