У 1820 році Вільгельм герцог Нассау передав частину території колишнього замку католицькій громаді для будівництва костелу. Однак, оскільки земля була болотистою, парафія продала її у 1826 році майстру-покрівельнику Конраду Кальбу з Лорх-на-Рейні.

Кальб побудував просту триповерхову будівлю в неокласичному стилі, яка була дуже великою для приватного будинку і слугувала не лише резиденцією, але й містила корчму "Zum deutschen Haus". Кальб також тримав бакалійну крамницю та магазин будівельних матеріалів. Приміщення також здавав в оренду Стефан Гербер, який відкрив тут аптеку Гірша.

Під час будівництва міського палацу стало очевидно, що він замалий для більшого двору. Тому герцог Вільгельм придбав маєток Кальб незадовго до своєї смерті у 1839 році. Його наступник, герцог Адольф цу Нассау, наказав знести залишки старого замку, що все ще стояли у дворі, і побудувати на цьому місці манеж і стайню. У Доппельгаузі Кальб'ше розміщувався герцогський судовий маршал, і відтоді він став відомим як Кавалерійський палац.

Під час Другої світової війни Кавалергауз був настільки сильно зруйнований, що не підлягав відновленню. Тому місто організувало архітектурний конкурс з метою побудови офісної будівлі для працівників Федерального статистичного управління, яка мала бути на один поверх вищою за Кавалергауз. Стиль нової будівлі базувався на пізньому класицистичному дизайні попередньої будівлі. Офіси Федерального статистичного відомства змогли переїхати до будівлі у 1953 році.

З 1975 року будівля використовується парламентом землі Гессен.