1820 yılında Nassau Dükü Wilhelm, eski kale arazisinin bir kısmını kilise inşa edilmesi için Katolik cemaatine vermiştir. Ancak arazi bataklık olduğu için cemaat araziyi 1826 yılında Lorch am Rhein'lı çatı ustası Konrad Kalb'a satmıştır.

Kalb, özel bir ev için çok büyük olan neoklasik tarzda üç katlı basit bir bina inşa etti ve sadece konut olarak hizmet vermekle kalmadı, aynı zamanda "Zum deutschen Haus" hanına da ev sahipliği yaptı. Kalb ayrıca bir bakkal dükkânı ve bir inşaat malzemeleri dükkânı işletiyordu. Odalar ayrıca burada Hirsch eczanesini kuran Stephan Herber'e de kiralanmıştır.

Şehir sarayının inşası sırasında, daha büyük bir saray için çok küçük olduğu ortaya çıktı. Dük Wilhelm bu nedenle 1839'da ölümünden kısa bir süre önce Kalb mülkünü satın aldı. Halefi Dük Adolph zu Nassau, avluda hala ayakta duran eski kalenin kalıntılarını yıktırdı ve oraya binicilik arenası ve ahır binası inşa ettirdi. Kalb'sche Doppelhaus, düklük mahkemesi mareşalinin ofisine ev sahipliği yaptı ve o zamandan beri Kavalierhaus olarak biliniyor.

İkinci Dünya Savaşı sırasında Kavalierhaus yeniden inşa edilemeyecek kadar kötü bir şekilde tahrip olmuştur. Bu nedenle şehir, Federal İstatistik Ofisi çalışanları için Kavalierhaus'tan bir kat daha fazla olacak bir ofis binası inşa etmek amacıyla bir mimari yarışma düzenledi. Yeni binanın tarzı, bir önceki binanın geç klasikçi tasarımına dayanıyordu. Federal İstatistik Ofisi'nin ofisleri 1953 yılında taşınabilmiştir.

Bina 1975 yılından bu yana saray için çok küçük olduğu ortaya çıktı. Dük Wilhelm bu nedenle 1839'da ölümünden kısa bir süre önce Kalb mülkünü satın aldı. Halefi Dük Adolph zu Nassau, avluda hala ayakta duran eski kalenin kalıntılarını yıktırdı ve oraya binicilik arenası ve ahır binası inşa ettirdi. Kalb'sche Doppelhaus, düklük mahkemesi mareşalinin ofisine ev sahipliği yaptı ve o zamandan beri Kavalierhaus olarak biliniyor.

İkinci Dünya Savaşı sırasında Kavalierhaus yeniden inşa edilemeyecek kadar kötü bir şekilde tahrip olmuştur. Bu nedenle şehir, Federal İstatistik Ofisi çalışanları için Kavalierhaus'tan bir kat daha fazla olacak bir ofis binası inşa etmek amacıyla bir mimari yarışma düzenledi. Yeni binanın tarzı, bir önceki binanın geç klasikçi tasarımına dayanıyordu. Federal İstatistik Ofisi'nin ofisleri 1953 yılında taşınabilmiştir.

Bina 1975 yılından bu yana Hessen Eyalet Parlamentosu tarafından kullanılmaktadır.