Кастель впервые упоминается как плацдарм Майнца около 10 года до н.э. Под угрозой аламаннов защита форта была улучшена в первом веке за счет строительства стен вокруг поселения. Около 71 года при императоре Веспасиане был построен каменный мост, который продолжал существовать и во времена правления императора Максимиана. Он вел на сегодняшнюю Гроссе Кирхенштрассе/Ратхаусштрассе, прямо в римский форт, вторые ворота которого находились всего в нескольких метрах от фундамента римской Арки почета, обнаруженного в 1986 году. Гражданское поселение, основанное во II веке, называлось "castellum matiacorum". Мост, разрушенный в начале IV века, был восстановлен Карлом Великим в 803 году с использованием римской свайной решетки, однако в 813 году он был уничтожен пожаром. После этого через реку можно было переправиться только на примитивных паромах. Только в XVII веке был вновь построен корабельный мост. В X веке Кастель был императорским поместьем. Позже значительная часть перешла к епархии Майнца, чьи земельные владения в Кастеле документированы с XI века. Право патронажа над церквями осуществляло аббатство Святого Петра в Майнце, о чем свидетельствуют названия Петерсберг и Петерсауэ. Другими духовными землевладельцами были тевтонские рыцари, монастырь Якобсберг и майнцская больница для бедных Святого Духа, давшая название району Шпиттельштюк.

Церковная история Кастеля восходит к поздней античности. Согласно легенде, в Кастеле умер мученик Ферруций. Приходская церковь появляется только в 1147 году, а имя священника упоминается в 1281 году. Церковь, посвященная Святому Георгию, вероятно, датируется VI веком. Позднее она перешла к часовне, посвященной Успению Девы Марии в городских укреплениях, которая была задокументирована в 1450 году. Новая, более молодая церковь Святого Георгия была отстроена после разрушения Кастеля в XVII веке и освящена в 1746 году. В 1944 г. она была полностью разрушена во время бомбардировки Кастеля; полностью измененное новое здание было возведено к 1977 г. Есть свидетельства о существовании в Кастеле Братства Святого Иакова с 1127 г.

Впервые Кастель упоминается как город в 1237 году. С 1240 года город был вовлечен в вооруженные конфликты между династией Гогенштауфенов и дворянством Среднего Рейна и несколько раз разрушался и отстраивался заново. В 1484 году архиепископ Майнца Бертольд фон Хеннеберг приказал укрепить Кастель системой сухопутной обороны с четырьмя оборонительными башнями, включая Эрбенхаймер Варте. С этого времени Майнцский митрополит стал неоспоримым правителем города. Один из старейших рынков в регионе, рынок Святого Варфоломея, был основан в 1475 году. Население жило за счет сельского хозяйства и виноградарства. Представителем светской власти был шультхайс (бургомистр), который может быть прослежен до середины XIV века. Духовного владыку города представлял судебный пристав. Судебная печать с изображением покровителя церкви Святого Георгия датируется 1453 годом. Суд и ратуша Кастеля впервые упоминаются в документе 1510 года. Она была разрушена французами в 1689 году, восстановлена в 1755 году и заменена новым зданием в 1880-х годах. В 1661 году был построен новый корабельный мост; в 1690 году в Кастеле насчитывалось 1100 жителей и 225 домов. Военные конфликты и последствия Тридцатилетней войны нанесли свой урон городу в XVII в. В 1666 г. более половины населения было уничтожено чумой. Чтобы сдержать распространение чумы, вокруг церкви Святого Георгия была построена так называемая чумная стена, за которой ухаживали за больными и хоронили умерших. Ее части сохранились до наших дней. В 1689 году французы сожгли город. С 1792 года крепость Кастель использовалась в качестве военного плацдарма французской революционной армией под командованием генерала Кюстина, а затем была расширена Наполеоном. В 1816 году укрепления перешли под контроль Австрии и Пруссии, которые в 1832/33 годах расширили их, включив в состав оборонительного комплекса Редуит на берегу Рейна.

Школа в Кастеле существовала с начала XVII века. Учитель также исполнял обязанности судебного секретаря, звонаря и органиста. Вероятно, сначала занятия проводились в ратуше, а в 1671 году было построено отдельное здание школы. В 1841 году его заменили зданием на Айзенбанштрассе, которое было рассчитано на четыре класса. В 1911 году все классы были объединены в новом большом школьном здании на Людвигсплац, которое было переименовано в школу Густава Штреземана после инкорпорации в 1963 году. Около 1900 года в городе было две католические и одна протестантская начальная школа. Школа Вильгельма Леушнера была добавлена в 1975 году. Большинство населения составляли католики. Только в 1859 году была основана протестантская община, которая в 1878 году обзавелась собственной церковью. Независимая еврейская община, начало которой восходит к XV веку, существовала до переезда в Майнц в 1914 г. В 1452 г. документально зафиксировано не менее пяти еврейских семей. Около 1700 года в Кастеле снова появились евреи, которые образовали общину вместе с жителями Костхайма; всего в ней насчитывалось от 12 до 14 еврейских семей. В 1843 году община выросла до 97 человек. В 1833/34 году на Фрюлингштрассе была построена синагога с общинным центром, которая была продана после роспуска общины в 1914 году и впоследствии снесена. С 1814 года у общины был свой учитель и прецентор, а с 1830 года - лазарет. Умерших хоронили в Майнце. Даже после 1914 года в Кастеле оставались еврейские жители, 24 из которых стали жертвами Холокоста.

После ухода французов Кастель с мая 1814 года продолжал находиться под совместным управлением Майнца, а после Венского конгресса 1815 года оба города были переданы Великому герцогству Гессен в Дармштадте в качестве федеральных крепостей. Только в 1908 году Кастель был окончательно включен в состав Майнца. Наконец, в 1945 году Кастель, вместе с Амонебургом и Костхаймом, был включен в состав городского округа Висбаден. В XVI веке началась великая эпоха плотогонов. Важным работодателем была компания Christof Ruthof GmbH Schiffswerften und Maschinenfabrik. Первые рейнские пароходы начали ходить здесь в 1825 году. В 1839 году Кастель был соединен с Таунусом железной дорогой, ведущей из Франкфурта-на-Майне в Висбаден. Революционное движение 1848 года не остановилось в Кастеле: были свергнуты бургомистр, констебль и директор школы. В 1882-85 годах был построен сегодняшний мост Теодора Хойса. В 1896 году в Кастеле были снесены разводные мосты и ворота, а в 1904 году - и внутренняя стена. Теперь в Охсенбрунне были построены водопроводные сооружения, Кастель получил канализацию и подключение к газовым и электрическим сетям. Клубы Кастеля - добровольная пожарная команда 1866 года, общество гребли на байдарках и каноэ 1880 года, гимнастические и спортивные клубы 1846/1886 годов или Jocus-Garde 1889 года - имеют давние традиции. Кастель - оплот карнавала, а карнавальный клуб является одним из четырех организаторов телевизионной сессии, которая транслируется на всю страну каждый год в пятницу перед карнавальными выходными.

Вторая мировая война имела разрушительные последствия для Кастеля. Бомбардировка британской и американской авиации 8 сентября 1944 года привела к почти полному разрушению центра города. Погибло более 300 жителей. Современный Кастель развивается за пределами территории в 21 гектар, на которой располагается биржа ВВС Европы в северной части центра города и которая до сих пор используется в военных целях. Крупнейшие новые жилые комплексы, "Krautgärten" и "An der Helling", были построены с середины 1990-х годов. В 2015 году в Кастеле проживало 12 537 человек в 5 972 домохозяйствах. Сильно представлены христиане-католики - более 50 % населения, в то время как протестанты составляют чуть менее 40 %. Около 20 % населения составляют мигранты.