Kastel'den ilk olarak MÖ 10 civarında Mainz'in bir köprübaşı olarak bahsedilmiştir. Alamanni tehdidi altında, birinci yüzyılda yerleşimin etrafına duvarlar inşa edilerek kalenin korunması iyileştirilmiştir. Yaklaşık 71 yılında İmparator Vespasian döneminde bir taş köprü inşa edilmiş ve bu köprü İmparator Maximian döneminde de varlığını sürdürmüştür. Bu köprü bugünkü Große Kirchenstrasse/ Rathausstrasse'ye, doğrudan Roma kalesine açılıyordu ve ikinci kapısı 1986'da keşfedilen Roma Onur Kemeri'nin temellerinden sadece birkaç metre ötede bulunuyordu. İkinci yüzyılda kurulan sivil yerleşime "castellum matiacorum" adı verilmiştir. Dördüncü yüzyılın başında yıkılan köprü, 803 yılında Charlemagne tarafından Roma kazık ızgarası kullanılarak yeniden inşa edilmiş; ancak 813 yılında çıkan yangında tahrip olmuştur. Bundan sonra nehir sadece ilkel feribotlar kullanılarak geçilebilmiştir. Bir gemi köprüsünün yeniden inşa edilmesi 17. yüzyıla kadar mümkün olmamıştır. 10. yüzyılda Kastel bir imparatorluk arazisiydi. Daha sonra, Kastel'deki toprak mülkiyeti 11. yüzyıldan beri belgelenmiş olan Mainz piskoposluğuna büyük parçalar geçti. Kiliseler üzerindeki himaye hakkı, Petersberg ve Petersaue isimlerinden de anlaşılacağı üzere Mainz'daki Aziz Peter Manastırı tarafından kullanılmaktaydı. Diğer ruhani toprak sahipleri Töton Şövalyeleri, Jakobsberg Manastırı ve Spittelstück bölgesine adını veren Kutsal Ruh'un Fakirleri için Mainz Hastanesi idi.

Kastel'in dini tarihi geç antik döneme kadar uzanmaktadır. Efsaneye göre, asker-şehit Ferrutius Kastel'de ölmüştür. Bir kilise 1147 yılına kadar belgelenmemiştir ve 1281 yılında bir rahibin adı geçmektedir. Aziz George'a adanmış bir kilise muhtemelen 6. yüzyıla kadar uzanmaktadır. Bu kilisenin himayesi daha sonra, 1450 yılında belgelenen, kasaba surları içindeki Meryem Ana'nın Göğe Kabulü'ne adanmış bir şapele geçmiştir. Bu yeni, daha genç Aziz George Kilisesi, 17. yüzyılda Kastel'in yıkılmasından sonra yeniden inşa edilmiş ve 1746'da kutsanmıştır. 1944 yılında Kastel'in bombalanması sırasında tamamen yıkılmıştır; 1977'de tamamen değiştirilmiş yeni bir bina inşa edilmiştir. 1127'den beri Kastel'de bir Aziz James Kardeşliği olduğuna dair kanıtlar vardır.

Kastel'den ilk kez 1237 yılında bir kasaba olarak bahsedilmiştir. Kasaba 1240 yılından itibaren Hohenstaufen hanedanı ile Orta Ren soyluları arasındaki askeri çatışmalara karışmış ve birkaç kez yıkılıp yeniden inşa edilmiştir. 1484 yılında Mainz Başpiskoposu Berthold von Henneberg, Kastel'i Erbenheimer Warte de dahil olmak üzere dört savunma kulesine sahip bir kara savunma sistemi ile güvence altına almıştır. Bu tarihten itibaren Mainz Metropoliti şehrin tartışmasız hakimi olmuştur. Bölgedeki en eski pazarlardan biri olan Aziz Bartholomew Pazarı 1475 yılında kurulmuştur. Nüfus geçimini tarım ve bağcılıktan sağlıyordu. Laik otoritelerin temsilcisi, 14. yüzyılın ortalarına kadar izi sürülebilen Schultheiß (belediye başkanı) idi. Kasabanın ruhani lordu ise icra memuru tarafından temsil edilmekteydi. Üzerinde kilise koruyucusu Aziz George'un bulunduğu bir mahkeme mührü 1453 yılına aittir. Kastel'in mahkeme ve belediye binasından ilk kez 1510 yılında bir belgede bahsedilmiştir. Fransızlar tarafından 1689 yılında yıkılmış, 1755 yılında yeniden inşa edilmiş ve 1880'lerde yeni bir bina ile değiştirilmiştir. 1661'de yeni bir gemi köprüsü inşa edildi; 1690'da Kastel'de 1.100 kişi ve 225 ev vardı. Savaş benzeri çatışmalar ve Otuz Yıl Savaşları'nın sonuçları 17. yüzyılda kasabayı olumsuz etkilemiştir. 1666 yılında nüfusun yarısından fazlası veba salgınına yakalanmıştır. Vebayı kontrol altına almak için St George Kilisesi'nin etrafına, arkasında hastaların bakıldığı ve ölenlerin gömüldüğü veba duvarı adı verilen bir duvar inşa edildi. Duvarın bazı bölümleri bugün hala korunmaktadır. 1689 yılında Fransızlar kasabayı yakıp yıkmıştır. Kastel Kalesi 1792'den itibaren General Custine komutasındaki Fransız devrimci ordusu tarafından askeri bir köprübaşı olarak kullanılmış ve daha sonra Napolyon tarafından genişletilmiştir. 1816 yılında Avusturya ve Prusya tahkimatı devraldı ve 1832/33 yıllarında Ren kıyısındaki Reduit savunma kompleksini de kapsayacak şekilde genişletti.

Kastel'de 17. yüzyılın başından beri bir okul bulunmaktaydı. Öğretmen aynı zamanda mahkeme katipliği, zangoçluk ve orgculuk görevlerini de yürütmekteydi. Dersler, 1671 yılında ayrı bir okul binası inşa edilmeden önce muhtemelen başlangıçta belediye binasında yapılıyordu. Bu binanın yerine 1841 yılında Eisenbahnstraße'de dört sınıf için uygun bir bina inşa edilmiştir. 1911 yılında tüm sınıflar Ludwigsplatz'daki yeni ve büyük bir okul binasında bir araya getirilmiştir. 1963 yılındaki şirketleşmeden sonra okulun adı Gustav Stresemann Okulu olarak değiştirilmiştir. 1900 yılı civarında iki Katolik ve bir Protestan ilkokulu vardı. Wilhelm Leuschner Okulu 1975 yılında eklenmiştir. Nüfusun çoğunluğu Katolikti. Protestan cemaati ancak 1859 yılında kurulmuş ve 1878 yılında kendi kilisesine kavuşmuştur. Başlangıçları 15. yüzyıla kadar uzanan bağımsız bir Yahudi cemaati, 1914 yılında Mainz'a nakledilene kadar varlığını sürdürmüştür. 1452 yılında en az beş Yahudi ailesi belgelenmiştir. 1700 civarında Kastel'de yine Yahudiler yaşamaktaydı ve Kostheim'dakilerle birlikte bir cemaat oluşturmuşlardı; toplamda yaklaşık 12 ila 14 Yahudi ailesi vardı. Cemaat 1843 yılında 97 kişiye ulaşmıştı. 1833/34'te Frühlingsstraße'de cemaat merkezi ile birlikte bir sinagog inşa edildi. 1914'te cemaat feshedildikten sonra satıldı ve daha sonra yıkıldı. 1814'ten itibaren cemaatin kendi öğretmeni ve vaizi vardı ve 1830'dan beri bir revir de bulunuyordu. Ölüler Mainz'da gömülmekteydi. 1914'ten sonra bile Kastel'de Yahudi sakinler vardı ve bunlardan 24'ü Holokost kurbanı oldu.

Fransızların çekilmesinden sonra Kastel, Mayıs 1814'ten itibaren Mainz tarafından yönetilmeye devam etti. 1815 Viyana Kongresi'nden sonra her iki kasaba da federal kaleler olarak Darmstadt'taki Hessen Büyük Dükalığı'na tahsis edildi. Kastel'in Mainz'a bağlanması ancak 1908 yılında gerçekleşmiştir. Son olarak 1945 yılında Kastel, Amöneburg ve Kostheim ile birlikte Wiesbaden kentsel bölgesine dahil edilmiştir. 16. yüzyılda salcıların büyük dönemi başladı. Christof Ruthof GmbH Schiffswerften und Maschinenfabrik önemli bir işverendi. İlk Ren vapurları 1825 yılında burada sefer yapmaya başlamıştır. Kastel, 1839 yılında Frankfurt am Main'den Wiesbaden'e giden Taunus demiryoluna bağlandı. 1848'deki devrimci hareket Kastel'de durmadı; belediye başkanı, emniyet müdürü ve okul müdürü görevden alındı. 1882-85 yıllarında bugünkü Theodor Heuss Köprüsü inşa edilmiştir. 1896 yılında Kastel'deki asma köprüler ve kapılar yıkıldı ve 1904 yılında iç duvar da kaldırıldı. Ochsenbrunnen'de su şebekesi inşa edilmiş, Kastel'e kanalizasyon sistemi kurulmuş, gaz ve elektrik şebekelerine bağlantılar yapılmıştır. Kastel kulüpleri - 1866'dan itibaren gönüllü itfaiye, 1880'den itibaren kürek ve kano topluluğu, 1846/1886'dan itibaren jimnastik ve spor kulüpleri veya 1889'dan itibaren Jocus-Garde - uzun bir geleneğe sahiptir. Kastel bir karnaval kalesidir ve karnaval kulübü, her yıl karnaval hafta sonundan önceki Cuma günü ülke çapında yayınlanan televizyon oturumunun dört organizatöründen biridir.

İkinci Dünya Savaşı Kastel için yıkıcı sonuçlar doğurmuştur. İngiliz ve Amerikan hava kuvvetleri tarafından 8 Eylül 1944 tarihinde gerçekleştirilen bombardıman, şehir merkezinin neredeyse tamamen yok olmasına yol açmıştır. Kasabanın 300'den fazla sakini hayatını kaybetmiştir. Modern Kastel, kent merkezinin kuzeyinde yer alan ve halen askeri amaçlarla kullanılan 21 hektarlık Avrupa Hava Kuvvetleri Borsası alanının ötesinde gelişmiştir. En büyük yeni konut siteleri olan "Krautgärten" ve "An der Helling" 1990'ların ortalarından bu yana inşa edilmiştir. 2015 yılında Kastel'de 5.972 hanede 12.537 kişi yaşamaktaydı. Katolik Hristiyanlar nüfusun %50'sinden fazlasını oluştururken, Protestan topluluğu nüfusun %40'ından biraz daha azını oluşturmaktadır. Nüfusun yaklaşık %20'sini göçmenler oluşturmaktadır.