Karl Carstens 14 Aralık 1914'te Bremen'de doğdu.

Frankfurt am Main, Greifswald, Dijon, Münih, Königsberg ve Hamburg'da hukuk öğrenimi gördü. 1936'da ilk devlet sınavını, 1938'de doktorasını ve 1939'da ikinci devlet sınavını başarıyla tamamladıktan sonra İkinci Dünya Savaşı'na uçaksavar topçusu olarak katıldı.

Savaştan sonra Bremen'de çeşitli kurum ve kuruluşlarda avukat ve hukuk danışmanı olarak çalıştı ve Yale'de okudu. 1954 yılında Federal Almanya Cumhuriyeti Dışişleri Bakanlığı'na girmiş, Strazburg'da Avrupa Konseyi Daimi Temsilciliği görevini yürüttükten sonra Dışişleri Bakan Yardımcılığı görevine yükselmiştir. 1960'lı yıllarda çeşitli federal bakanlıklarda Devlet Sekreteri olarak görev yaptı.

1972 ve 1979 yılları arasında CDU adına Federal Meclis'te yer aldı. 1973'ten 1976'ya kadar kendi parlamento grubunun başkanlığını ve daha sonra da Federal Meclis Başkanlığını yaptı. 23 Mayıs 1979'da Federal Meclis onu Federal Almanya Cumhuriyeti'nin beşinci Cumhurbaşkanı olarak seçti. Bir dönem boyunca devletin en yüksek makamında bulundu.

Bu sıfatla Hessen'e yaptığı ilk ziyarette, 2 Eylül 1979'da belediye binasında düzenlenen kutlama resepsiyonunda Wiesbaden Şehri'nin Altın Kitabı'nı imzaladı.