Кастель вперше згадується як плацдарм Майнца близько 10 року до нашої ери. Через загрозу з боку аламанів у першому столітті захист форту було покращено шляхом зведення мурів навколо поселення. Близько 71 року за імператора Веспасіана був побудований кам'яний міст, який існував і за часів правління імператора Максиміана. Він вів на сьогоднішню вулицю Ґроссе Кірхенштрассе/Ратхаусштрассе, безпосередньо до римського форту, друга брама якого була розташована всього за кілька метрів від фундаменту римської Арки Пошани, виявленого у 1986 році. Цивільне поселення, яке було засноване у 2 столітті, називалося "castellum matiacorum". Міст, зруйнований на початку 4 століття, був відновлений Карлом Великим у 803 році з використанням римської пальової решітки, однак у 813 році він був знищений пожежею. Після цього річку можна було перетнути лише за допомогою примітивних поромів. Лише у 17 столітті знову було збудовано корабельний міст. У 10 столітті Кастель був імператорським маєтком. Пізніше значна його частина перейшла до єпархії Майнца, чиї земельні володіння в Кастелі документально зафіксовані з 11 століття. Право патронату над церквами здійснювало абатство Святого Петра в Майнці, про що свідчать назви Петерсберг і Петерсауе. Іншими духовними землевласниками були тевтонські лицарі, монастир Якобсберг і Майнцська лікарня для бідних Святого Духа, яка дала назву району Шпіттельштук.

Церковна історія Кастеля сягає глибокої давнини. Згідно з легендою, в Кастелі помер воїн-мученик Ферруцій. Парафіяльна церква не згадується в документах до 1147 року, а священик згадується в 1281 році. Церква, присвячена святому Георгію, ймовірно, датується 6 століттям. Пізніше його патронат перейшов до каплиці, присвяченої Успінню Діви Марії в межах міських укріплень, що задокументовано в 1450 році. Нова, молодша церква Святого Юра була відбудована після руйнування Кастеля у 17 столітті і освячена у 1746 році. У 1944 р. вона була повністю зруйнована під час бомбардування Кастеля; повністю змінена нова будівля була зведена до 1977 р. Існують свідчення про існування в Кастелі Братства Святого Якова з 1127 р.

Вперше Кастель згадується як місто у 1237 році. З 1240 року місто було втягнуте у збройні конфлікти між династією Гогенштауфенів та середньорейнською знаттю і кілька разів було зруйноване та відбудоване заново. У 1484 році архієпископ Майнца Бертольд фон Геннеберг наказав захистити Кастель сухопутною оборонною системою з чотирма оборонними вежами, серед яких була й Ербенгаймерська. З цього часу митрополит Майнца був беззаперечним правителем міста. Один з найстаріших ринків у регіоні, ринок Святого Варфоломія, був заснований у 1475 році. Населення жило за рахунок сільського господарства та виноградарства. Представником світської влади був бургомістр (бургомістр), якого можна простежити з середини 14 століття. Духовного володаря міста представляв судовий пристав. Судова печатка із зображенням церковного покровителя св. Юрія датується 1453 роком. Суд і ратуша в Кастелі вперше згадуються в документі 1510 року. Вона була зруйнована французами у 1689 році, відбудована у 1755 році і замінена новою будівлею у 1880-х роках. У 1661 році було збудовано новий корабельний міст; у 1690 році в Кастелі налічувалося 1100 мешканців і 225 будинків. Військові конфлікти та наслідки Тридцятилітньої війни позначилися на місті у 17 столітті. 1666 року чума забрала більше половини населення. Щоб стримати епідемію, навколо церкви Святого Юра збудували так званий чумний мур, за яким доглядали за хворими і ховали померлих. Частково він зберігся до сьогодні. У 1689 році французи спалили місто. З 1792 року фортеця Кастель використовувалася як військовий плацдарм французькою революційною армією під командуванням генерала Кюстіна, а згодом була розширена Наполеоном. У 1816 році укріплення перейшли до Австрії та Пруссії, які у 1832/33 роках розширили їх, включивши до них оборонний комплекс Редут на березі Рейну.

З початку 17 століття в Кастелі існувала школа. Вчитель також виконував обов'язки судового секретаря, дзвонаря та органіста. Заняття, ймовірно, спочатку проходили в ратуші, доки в 1671 році не було збудовано окреме приміщення для школи. У 1841 році його замінили на будівлю на Айзенбанштрассе, яка була придатна для чотирьох класів. У 1911 році всі класи були об'єднані в нову велику будівлю школи на Людвігсплац, яка після інкорпорації в 1963 році була перейменована на школу Густава Штреземанна. Близько 1900 року існувало дві католицькі та одна протестантська початкові школи. Школа Вільгельма Лойшнера була додана в 1975 році. Більшість населення були католиками. Лише у 1859 році була заснована протестантська громада, яка отримала власну церкву у 1878 році. Незалежна єврейська громада, початок якої датується 15 століттям, існувала до переїзду в Майнц у 1914 р. Щонайменше п'ять єврейських родин задокументовано в 1452 році. Близько 1700 року в Кастелі знову проживали євреї, які утворили громаду разом з євреями Костгайму; загалом налічувалося від 12 до 14 єврейських родин. У 1843 році громада зросла до 97 осіб. У 1833/34 роках на вулиці Фрюлінгштрассе була побудована синагога з громадським центром, яка була продана після розпуску громади у 1914 році, а згодом знесена. З 1814 року громада мала власного вчителя і пресвітера, а з 1830 року існував також лазарет. Померлих ховали в Майнці. Навіть після 1914 року в Кастелі все ще проживали євреї, 24 з яких стали жертвами Голокосту.

Після відходу французів Кастель продовжував перебувати під спільним управлінням Майнца з травня 1814 року, доки обидва міста не були приєднані до Великого герцогства Гессен у Дармштадті як федеральні фортеці після Віденського конгресу 1815 року. Лише у 1908 році Кастель був остаточно включений до складу Майнца. Зрештою, у 1945 році Кастель разом з Амонебургом і Костгаймом було включено до складу міського району Вісбадена. У 16 столітті розпочалася велика ера плотогонів. Важливим роботодавцем була компанія Christof Ruthof GmbH Schiffswerften und Maschinenfabrik. Перші рейнські пароплави почали ходити тут у 1825 році. У 1839 році Кастель був приєднаний до Таунусської залізниці з Франкфурта-на-Майні до Вісбадена. Революційний рух 1848 року не зупинився і в Кастелі: було скинуто бургомістра, констебля та шкільного вчителя. У 1882-85 роках було збудовано сучасний міст Теодора Хойса. У 1896 році в Кастелі знесли підйомні мости і браму, а в 1904 році розібрали внутрішню стіну. Тепер на Оксенбруннен було збудовано водогін, Кастель отримала каналізацію та підключення до газових і електричних мереж. Клуби Кастеля - добровільна пожежна команда з 1866 року, товариство веслування на байдарках і каное з 1880 року, гімнастичні та спортивні клуби з 1846/1886 років або Jocus-Garde з 1889 року - мають давні традиції. Кастель є оплотом карнавалу, а карнавальний клуб є одним з чотирьох організаторів телевізійної сесії, яка транслюється на всю країну щороку в п'ятницю перед карнавальними вихідними.

Друга світова війна мала руйнівні наслідки для Кастеля. Бомбардування британської та американської авіації 8 вересня 1944 року призвело до майже повного знищення центру міста. Загинуло понад 300 мешканців. Сучасний Кастель розвинувся за межами 21-гектарної території Європейської біржі військово-повітряних сил на півночі від центру міста, яка досі використовується у військових цілях. Найбільші нові житлові райони, "Краутґартен" і "Ан дер Геллінг", були побудовані з середини 1990-х років. У 2015 році в Кастелі проживало 12 537 осіб у 5 972 домогосподарствах. Християни-католики становлять понад 50% населення, тоді як протестантська громада складає трохи менше 40% населення. Близько 20% населення - мігранти.