Кастел се споменава за първи път като плацдарм на Майнц около 10 г. пр. Под заплахата на аламаните защитата на крепостта е подобрена през I в. чрез изграждане на стени около селището. Около 71 г. при император Веспасиан е построен каменен мост, който съществува и по време на управлението на император Максимиан. Той е водел до днешната улица Große Kirchenstrasse/ Rathausstrasse, директно в римската крепост, чиято втора порта се е намирала само на няколко метра от основите на римската почетна арка, открити през 1986 г. Цивилното селище, създадено през II в., е било наричано "castellum matiacorum". Мостът, който е разрушен в началото на IV в., е възстановен от Карл Велики през 803 г., като е използвана римска пилотна решетка; той обаче е унищожен от пожар през 813 г. След това реката може да се прекосява само с помощта на примитивни фериботи. Едва през XVII в. отново е построен корабен мост. През X в. Кастел е бил имперско имение. По-късно големи части от него преминават към диоцеза на Майнц, чиято собственост върху земи в Кастел е документирана от XI в. Правото на покровителство над църквите се упражнявало от абатството "Свети Петър" в Майнц, за което свидетелстват имената Петерсберг и Петерсауе. Други духовни земевладелци са били тевтонските рицари, манастирът Якобсберг и болницата за бедни "Свети Дух" в Майнц, която дава името на квартала Шпителщук.

Църковната история на Кастел датира от късната античност. Според легендата в Кастел е починал войникът-мъченик Феруций. Енорийска църква е документирана едва през 1147 г., а името на свещеника е посочено през 1281 г. Църквата, посветена на Свети Георги, вероятно датира от VI век. По-късно патронажът ѝ преминава към параклис, посветен на Успение Богородично, в рамките на градските укрепления, който е документиран през 1450 г. Тази нова, по-млада църква "Свети Георги" е възстановена след разрушаването на Кастел през XVII в. и е осветена през 1746 г. През 1944 г. тя е напълно разрушена по време на бомбардировките на Кастел; напълно променена нова сграда е издигната към 1977 г. Има данни за братството на Свети Яков в Кастел от 1127 г.

Кастел е споменат за първи път като град през 1237 г. От 1240 г. градът е въвлечен във въоръжени конфликти между династията Хоенщауфен и благородниците от Среден Рейн и е разрушаван и възстановяван няколко пъти. През 1484 г. архиепископът на Майнц Бертолд фон Хенеберг нарежда Кастел да бъде обезопасен със сухопътна отбранителна система с четири отбранителни кули, включително и с Erbenheimer Warte. От този момент нататък митрополитът на Майнц е неоспорим владетел на града. През 1475 г. е създаден един от най-старите пазари в региона - пазарът на Свети Вартоломей. Населението се е препитавало със земеделие и лозарство. Представител на светската власт е бил кметът (Schultheiß), чието име може да се проследи до средата на XIV в. Духовният владетел на града е бил представляван от съдебния пристав. От 1453 г. датира съдебен печат с изобразен на него патрон на църквата Свети Георги. Съдът и кметството на Кастел се споменават за първи път в документ от 1510 г. То е разрушено от французите през 1689 г., възстановено е през 1755 г. и е заменено с нова сграда през 80-те години на XIX век. През 1661 г. е построен нов корабен мост; през 1690 г. в Кастел има 1100 жители и 225 къщи. Военните конфликти и последиците от Тридесетгодишната война се отразяват негативно на града през XVII в. През 1666 г. повече от половината от населението е отнесено от чума. За да се овладее чумата, около църквата "Свети Георги" е построена т.нар. чумна стена, зад която се полагат грижи за болните и се погребват починалите. Части от нея са запазени и до днес. През 1689 г. французите опожаряват града. От 1792 г. крепостта Кастел е използвана като военен плацдарм от френската революционна армия под командването на генерал Кюстин, а по-късно е разширена от Наполеон. През 1816 г. Австрия и Прусия поемат укрепленията и ги разширяват през 1832/33 г., като включват отбранителния комплекс Редуит на брега на Рейн.

От началото на XVII в. в Кастел има училище. Учителят е изпълнявал и длъжността на съдебен писар, звънар и органист. Вероятно първоначално занятията са се провеждали в сградата на кметството, преди през 1671 г. да бъде построено отделно училище. През 1841 г. тя е заменена със сграда на Айзенбанщрасе, която е подходяща за четири класа. През 1911 г. всички класове са обединени в нова голяма училищна сграда на Лудвигсплац, която след включването през 1963 г. е преименувана на училище "Густав Щреземан". Около 1900 г. има две католически и едно протестантско начално училище. Училището "Вилхелм Лойшнер" е добавено през 1975 г. По-голямата част от населението е католическо. Едва през 1859 г. е основана протестантска общност, която през 1878 г. получава собствена църква. Независима еврейска общност, чието начало датира от XV в., съществува до преместването ѝ в Майнц през 1914 г. През 1452 г. са документирани поне пет еврейски семейства. Около 1700 г. в Кастел отново живеят евреи, които образуват общност заедно с тези в Костхайм; общо има около 12-14 еврейски семейства. През 1843 г. общността нараства до 97 души. През 1833/34 г. на Фрулингщрасе е построена синагога с читалище, която след разпускането на общността през 1914 г. е продадена и по-късно разрушена. От 1814 г. общността има свой учител и прецентър, а от 1830 г. има и лазарет. Мъртвите са погребвани в Майнц. Дори и след 1914 г. в Кастел все още има еврейски жители, 24 от които стават жертви на Холокоста.

След оттеглянето на французите Кастел продължава да бъде под съвместното управление на Майнц от май 1814 г., преди двата града да бъдат предоставени на Великото херцогство Хесен в Дармщат като федерални крепости след Виенския конгрес през 1815 г. Едва през 1908 г. Кастел е окончателно присъединен към Майнц. Накрая, през 1945 г., Кастел, заедно с Аменебург и Костхайм, е включен в градския район на Висбаден. През XVI в. започва великата епоха на саловете. Christof Ruthof GmbH Schiffswerften und Maschinenfabrik е бил важен работодател. През 1825 г. тук започват да пътуват първите параходи по Рейн. През 1839 г. Кастел е свързан с железопътната линия Таунус от Франкфурт на Майн до Висбаден. Революционното движение от 1848 г. не спира в Кастел; кметът, полицаят и директорът на училището са свалени. През 1882-85 г. е построен днешният мост на Теодор Хойс. През 1896 г. в Кастел са съборени подвижните мостове и порти, а през 1904 г. е премахната и вътрешната стена. Вече е изграден водопровод в Охсенбрунен, Кастел получава канализация и връзки към газовите и електрическите мрежи. Клубовете в Кастел - доброволческата пожарна команда от 1866 г., дружеството за гребане и кану от 1880 г., гимнастическите и спортните клубове от 1846/1886 г. или Jocus-Garde от 1889 г. - имат дългогодишни традиции. Кастел е крепост на карнавала, а карнавалният клуб е един от четирите организатори на телевизионната сесия, която се излъчва в цялата страна всяка година в петък преди карнавалния уикенд.

Втората световна война има опустошителни последици за Кастел. Бомбардировките на британските и американските военновъздушни сили на 8 септември 1944 г. водят до почти пълното разрушаване на центъра на града. Над 300 жители губят живота си. Съвременният Кастел се е развил отвъд 21-хектаровия терен на борсата на военновъздушните сили на Европа в северната част на центъра на града, който все още се използва за военни цели. Най-големите нови жилищни комплекси - "Krautgärten" и "An der Helling" - са построени от средата на 90-те години на миналия век. През 2015 г. в Кастел живеят 12 537 души в 5 972 домакинства. Християните католици са силно представени с над 50 % от населението, докато протестантската общност представлява малко под 40 % от населението. Около 20 % от населението са мигранти.