В 1820 году Вильгельм герцог Нассауский передал часть территории бывшего замка католической общине для строительства церкви. Однако, поскольку земля была болотистой, в 1826 году приход продал ее мастеру-кровельщику Конраду Кальбу из Лорха-на-Рейне.

Кальб построил простое трехэтажное здание в неоклассическом стиле, которое было очень большим для частного дома и служило не только резиденцией, но и трактиром "Zum deutschen Haus". Кальб также держал бакалейную лавку и магазин строительных материалов. Комнаты также сдавались Стефану Херберу, который открыл здесь аптеку Хирша.

Во время строительства городского дворца стало очевидно, что он слишком мал для большого двора. Поэтому герцог Вильгельм приобрел поместье Кальб незадолго до своей смерти в 1839 году. Его преемник, герцог Адольф цу Нассау, приказал снести остатки старого замка, сохранившиеся во внутреннем дворе, и построил там манеж и здание конюшен. В доппельхаусе Кальба разместилась канцелярия герцогского придворного маршала, и с тех пор он известен как Кавалерхаус.

Во время Второй мировой войны Кавалерхаус был настолько сильно разрушен, что не подлежал восстановлению. Поэтому городские власти организовали архитектурный конкурс на строительство офисного здания для сотрудников Федерального статистического управления, которое должно было быть на один этаж больше, чем Кавальерхаус. Стиль нового здания был основан на позднем классицизме предыдущего здания. Офисы Федерального статистического управления смогли переехать в 1953 году.

С 1975 года здание используется парламентом земли Гессен.