Kastel został po raz pierwszy wspomniany jako przyczółek Moguncji około 10 r. p.n.e.. Pod groźbą Alamanni, ochrona fortu została ulepszona w pierwszym wieku poprzez budowę murów wokół osady. Około 71 r. za cesarza Wespazjana zbudowano kamienny most, który istniał jeszcze za panowania cesarza Maksymiana. Prowadził on do dzisiejszej ulicy Große Kirchenstrasse / Rathausstrasse, bezpośrednio do rzymskiego fortu, którego druga brama znajdowała się zaledwie kilka metrów od fundamentów rzymskiego łuku honorowego, które zostały odkryte w 1986 roku. Osada cywilna, która powstała w II wieku, nazywana była "castellum matiacorum". Most, który został zniszczony na początku IV wieku, został odbudowany przez Karola Wielkiego w 803 roku, przy użyciu rzymskiej kraty palowej; został jednak zniszczony przez pożar w 813 roku. Od tego czasu rzekę można było przekraczać jedynie za pomocą prymitywnych promów. Dopiero w XVII wieku ponownie zbudowano most dla statków. W X wieku Kastel był posiadłością cesarską. Później duża część przeszła na diecezję Mainz, której własność ziemska w Kastel została udokumentowana od XI wieku. Prawo patronatu nad kościołami sprawowało opactwo św. Piotra w Moguncji, o czym świadczą nazwy Petersberg i Petersaue. Innymi duchowymi właścicielami ziemskimi byli Krzyżacy, klasztor Jakobsberg i szpital dla ubogich Świętego Ducha w Moguncji, od którego pochodzi nazwa dzielnicy Spittelstück.

Kościelna historia Kastel sięga późnej starożytności. Według legendy, żołnierz-męczennik Ferrutius zmarł w Kastel. Kościół parafialny został udokumentowany dopiero w 1147 roku, a ksiądz został wymieniony w 1281 roku. Kościół pod wezwaniem św. Jerzego pochodzi prawdopodobnie z VI wieku. Jego patronat przeszedł później na kaplicę poświęconą Wniebowzięciu Najświętszej Maryi Panny w obrębie fortyfikacji miejskich, co zostało udokumentowane w 1450 roku. Nowy, młodszy kościół św. Jerzego został odbudowany po zniszczeniu Kastel w XVII wieku i konsekrowany w 1746 roku. W 1944 r. został całkowicie zniszczony podczas bombardowania Kastel; całkowicie zmodyfikowany nowy budynek został wzniesiony w 1977 r. Istnieją dowody na istnienie bractwa św. Jakuba w Kastel od 1127 roku.

Kastel został po raz pierwszy wymieniony jako miasto w 1237 roku. Od 1240 r. miasto było zaangażowane w konflikty zbrojne między dynastią Hohenstaufen a szlachtą Środkowego Renu i było kilkakrotnie niszczone i odbudowywane. W 1484 r. arcybiskup Moguncji, Berthold von Henneberg, kazał zabezpieczyć Kastel systemem obrony lądowej z czterema wieżami obronnymi, w tym Erbenheimer Warte. Od tego czasu metropolita Moguncji był niekwestionowanym władcą miasta. Jeden z najstarszych rynków w regionie, St Bartholomew's Market, został założony w 1475 roku. Ludność utrzymywała się z rolnictwa i uprawy winorośli. Przedstawicielem władz świeckich był Schultheiß (burmistrz), którego początki sięgają połowy XIV wieku. Władcę duchowego miasta reprezentował komornik. Pieczęć sądowa z patronem kościoła św. Jerzym na pieczęci pochodzi z 1453 roku. Sąd i ratusz w Kastel został po raz pierwszy wspomniany w dokumencie z 1510 roku. Został on zniszczony przez Francuzów w 1689 roku, odbudowany w 1755 roku i zastąpiony nowym budynkiem w latach osiemdziesiątych XIX wieku. W 1661 r. zbudowano nowy most dla statków; w 1690 r. w Kastel było 1100 mieszkańców i 225 domów. Konflikty wojenne i następstwa wojny trzydziestoletniej odcisnęły swoje piętno na mieście w XVII w. W 1666 r. ponad połowa mieszkańców została zabita przez zarazę. Aby powstrzymać zarazę, wokół kościoła św. Jerzego zbudowano tak zwany mur morowy, za którym opiekowano się chorymi i grzebano zmarłych. Jego fragmenty zachowały się do dziś. W 1689 roku Francuzi spalili miasto. Od 1792 r. twierdza Kastel była wykorzystywana jako przyczółek wojskowy przez francuską armię rewolucyjną pod dowództwem generała Custine'a, a następnie rozbudowana przez Napoleona. W 1816 r. Austria i Prusy przejęły fortyfikacje i rozszerzyły je w latach 1832/33 o kompleks obronny Reduit nad brzegiem Renu.

Szkoła w Kastel istniała od początku XVII wieku. Nauczyciel pełnił również funkcję urzędnika sądowego, dzwonnika i organisty. Zajęcia prawdopodobnie początkowo odbywały się w ratuszu, zanim w 1671 r. wybudowano oddzielny budynek szkolny. W 1841 r. został on zastąpiony budynkiem przy Eisenbahnstraße, który był odpowiedni dla czterech klas. W 1911 r. wszystkie klasy zostały zintegrowane w nowym dużym budynku szkolnym przy Ludwigsplatz, który po włączeniu w 1963 r. został przemianowany na Szkołę Gustava Stresemanna. Około 1900 r. istniały dwie katolickie i jedna protestancka szkoła podstawowa. Szkoła Wilhelma Leuschnera została dodana w 1975 roku. Większość mieszkańców stanowili katolicy. Dopiero w 1859 r. powstała gmina protestancka, która w 1878 r. otrzymała własny kościół. Niezależna społeczność żydowska, której początki sięgają XV wieku, istniała do czasu przeniesienia do Moguncji w 1914 r. Co najmniej pięć rodzin żydowskich jest udokumentowanych w 1452 roku. Około 1700 r. w Kastel ponownie mieszkali Żydzi, którzy utworzyli społeczność wraz z tymi z Kostheim; w sumie było około 12 do 14 rodzin żydowskich. Do 1843 r. społeczność rozrosła się do 97 osób. W latach 1833/34 przy ulicy Frühlingsstraße wybudowano synagogę z domem kultury, która została sprzedana po rozwiązaniu gminy w 1914 r., a następnie rozebrana. Od 1814 r. gmina miała własnego nauczyciela i precentora, a od 1830 r. istniała również ambulatorium. Zmarłych chowano w Moguncji. Nawet po 1914 r. w Kastel nadal mieszkali Żydzi, z których 24 stało się ofiarami Holokaustu.

Po wycofaniu się Francuzów, Kastel był nadal współadministrowany przez Moguncję od maja 1814 roku, zanim oba miasta zostały przydzielone do Wielkiego Księstwa Hesji w Darmstadt jako twierdze federalne po Kongresie Wiedeńskim w 1815 roku. Dopiero w 1908 roku Kastel został ostatecznie włączony do Moguncji. Ostatecznie, w 1945 roku, Kastel, wraz z Amöneburg i Kostheim, został włączony do okręgu miejskiego Wiesbaden. W XVI wieku rozpoczęła się wielka era flisaków. Christof Ruthof GmbH Schiffswerften und Maschinenfabrik był ważnym pracodawcą. Pierwsze parowce na Renie zaczęły tu kursować w 1825 roku. W 1839 r. Kastel został podłączony do kolei Taunus z Frankfurtu nad Menem do Wiesbaden. Ruch rewolucyjny w 1848 r. nie zatrzymał się w Kastel; burmistrz, posterunkowy i dyrektor szkoły zostali obaleni. W latach 1882-85 zbudowano dzisiejszy most Theodora Heussa. W 1896 r. w Kastel zburzono mosty zwodzone i bramy, a w 1904 r. usunięto również mur wewnętrzny. Teraz w Ochsenbrunnen zbudowano wodociągi, Kastel otrzymał kanalizację i połączenia z siecią gazową i elektryczną. Kluby Kastel - ochotnicza straż pożarna z 1866 roku, towarzystwo wioślarskie i kajakarskie z 1880 roku, kluby gimnastyczne i sportowe z lat 1846/1886 czy Jocus-Garde z 1889 roku - mają długą tradycję. Kastel jest twierdzą karnawałową, a klub karnawałowy jest jednym z czterech organizatorów sesji telewizyjnej, która jest transmitowana w całym kraju co roku w piątek przed weekendem karnawałowym.

Druga wojna światowa miała niszczycielskie konsekwencje dla Kastel. Bombardowanie przez brytyjskie i amerykańskie siły powietrzne 8 września 1944 r. doprowadziło do niemal całkowitego zniszczenia centrum miasta. Życie straciło ponad 300 mieszkańców. Współczesny Kastel rozwinął się poza 21-hektarowym terenem Air Forces Europe Exchange w północnej części centrum miasta, który nadal jest wykorzystywany do celów wojskowych. Największe nowe osiedla mieszkaniowe, "Krautgärten" i "An der Helling", zostały zbudowane od połowy lat 90-tych. W 2015 r. w Kastel mieszkało 12 537 osób w 5 972 gospodarstwach domowych. Katoliccy chrześcijanie są silnie reprezentowani z ponad 50% populacji, podczas gdy społeczność protestancka stanowi nieco poniżej 40% populacji. Około 20% populacji to migranci.