Vers 10 av. J.-C., Kastel est mentionné pour la première fois comme tête de pont de Mayence. Sous l'influence de la menace des Alamans, la protection du château fut améliorée au premier siècle par l'édification d'une enceinte autour de la cité. Vers 71, un pont en pierre fut construit sous l'empereur Vespasien et existait encore sous le règne de l'empereur Maximien. Il débouchait sur l'actuelle Große Kirchen-/ Rathausstrasse, directement dans le castel romain, dont la deuxième porte se trouvait à quelques mètres seulement des fondations de l'arc d'honneur romain découvertes en 1986. L'agglomération civile, qui s'est développée au 2e siècle, portait le nom de "castellum matiacorum". Détruit au début du 4e siècle, Charlemagne le fit reconstruire en 803, en utilisant les grilles romaines sur pilotis ; mais il fut détruit par un incendie dès 813. Par la suite, la traversée du fleuve n'était plus possible que par des bacs primitifs. Ce n'est qu'au 17e siècle qu'un pont de bateaux fut à nouveau installé. Au 10e siècle, Kastel était un bien impérial. Plus tard, de grandes parties revinrent à l'évêché de Mayence, dont la propriété foncière à Kastel est attestée depuis le 11e siècle. Le droit de patronage sur les églises était exercé par le couvent Saint-Pierre de Mayence, comme en témoignent les noms de Petersberg et Petersaue. Les autres propriétaires fonciers ecclésiastiques étaient les chevaliers teutoniques, le monastère de Jakobsberg et l'hôpital des pauvres de Mayence "zum heiligen Geist", qui a donné son nom au district de Spittelstück.

L'histoire de l'église de Kastel commence dès la fin de l'Antiquité. Selon la légende, le soldat martyr Ferrutius est mort à Kastel. L'existence d'une église paroissiale n'est attestée qu'en 1147 et un curé est mentionné en 1281. Une église dédiée à saint Georges date probablement du 6e siècle. Son patronage a ensuite été transmis à une chapelle de l'Assomption, attestée en 1450, à l'intérieur des fortifications de la ville. Cette nouvelle église de Saint-Georges, plus récente, a été reconstruite après la destruction de Kastel au 17e siècle et consacrée en 1746. En 1944, elle fut entièrement détruite lors du bombardement de Kastel ; une nouvelle construction entièrement modifiée fut construite jusqu'en 1977. Depuis 1127, on trouve la trace d'une confrérie de Jacob à Kastel.

Kastel est mentionnée pour la première fois en tant que ville en 1237. Depuis 1240, la ville a été impliquée dans des conflits armés entre les Hohenstaufen et la noblesse du Rhin moyen et a été détruite et reconstruite à plusieurs reprises. En 1484, l'archevêque de Mayence Berthold von Henneberg fit notamment sécuriser Kastel par une défense territoriale comprenant quatre tours de guet, dont la Erbenheimer Warte. Depuis cette époque, le métropolite de Mayence était le maître incontesté de la ville. Avec le marché de la Saint-Barthélemy, l'un des plus anciens marchés de la région vit le jour en 1475. La population vivait de l'agriculture et de la viticulture. Le représentant de l'autorité séculière était le "Schultheiß", dont la présence est attestée depuis le milieu du 14e siècle. Le seigneur ecclésiastique de la ville était représenté par le bailli. Un sceau du tribunal datant de 1453 représente le patron de l'église, Saint-Georges. En 1510, l'hôtel de ville et de justice de Kastel est mentionné pour la première fois dans un document. En 1689, il fut détruit par les Français, reconstruit en 1755 et remplacé par un nouveau bâtiment dans les années 1880. En 1661, un nouveau pont de bateaux fut construit ; en 1690, Kastel comptait 1.100 habitants et 225 maisons. Les conflits armés et les séquelles de la guerre de Trente Ans ont mis à mal le village au XVIIe siècle. En 1666, plus de la moitié de la population a été emportée par la peste. Pour endiguer l'épidémie, on construisit autour de l'église Saint-Georges un "mur de la peste" derrière lequel on soignait les malades et enterrait les morts. Des parties de ce mur sont encore conservées aujourd'hui. En 1689, les Français incendièrent la ville. Depuis 1792, la forteresse de Kastel a été transformée en tête de pont militaire par l'armée révolutionnaire française du général Custine, puis par Napoléon. En 1816, l'Autriche et la Prusse reprirent les fortifications et les agrandirent en 1832/33 en y ajoutant le dispositif de défense du Réduit, situé sur la rive du Rhin.

Depuis le début du 17ème siècle, il y avait une école à Kastel. L'instituteur occupait également les fonctions de greffier, de sonneur de cloche et d'organiste. L'enseignement avait probablement lieu dans un premier temps à la mairie, avant qu'une école ne soit construite en 1671. En 1841, elle fut remplacée par un bâtiment dans la Eisenbahnstraße, qui pouvait accueillir quatre classes. En 1911, toutes les classes ont été intégrées dans un nouveau grand bâtiment scolaire sur la Ludwigsplatz, qui a été rebaptisé Gustav-Stresemann- Schule après l'incorporation de la commune en 1963. Vers 1900, il y avait deux écoles primaires catholiques et une école primaire protestante. En 1975, l'école Wilhelm Leuschner est venue s'y ajouter. La population était majoritairement catholique. Ce n'est qu'en 1859 qu'une communauté protestante s'est formée et a obtenu sa propre église en 1878. Une communauté juive indépendante, dont les débuts remontent au 15ème siècle, a existé jusqu'à son transfert à Mayence en 1914. En 1452, au moins cinq familles juives sont attestées. Vers 1700, des juifs vivaient à nouveau à Kastel et formaient une communauté avec ceux de Kostheim ; au total, il y avait environ 12 à 14 familles juives. En 1843, la communauté comptait 97 personnes. En 1833/34, une synagogue et une maison de communauté furent construites dans la Frühlingsstraße, qui fut vendue après la dissolution de la communauté en 1914, puis démolie. A partir de 1814, il y avait un enseignant et un chef de chœur, ainsi qu'une association de malades depuis 1830. Les morts étaient enterrés à Mayence. Même après 1914, il y avait toujours des habitants juifs à Kastel, dont 24 ont été victimes de l'Holocauste.

Après le départ des Français, Kastel continua à être coadministrée par Mayence à partir de mai 1814, avant que les deux villes ne soient rattachées au Grand-Duché de Hesse de Darmstadt en tant que forteresses fédérales après le Congrès de Vienne en 1815. Ce n'est qu'en 1908 que la ville fut définitivement rattachée à Mayence. Enfin, en 1945, Kastel fut intégrée, avec Amöneburg et Kostheim, dans le district urbain de Wiesbaden. Au 16e siècle commença la grande époque des flotteurs de bois. Un employeur important était la société Christof Ruthof GmbH Schiffswerften und Maschinenfabrik. Depuis 1825, les premiers bateaux à vapeur du Rhin circulaient. En 1839, Kastel fut raccordé au chemin de fer du Taunus reliant Francfort-sur-le-Main à Wiesbaden. Le mouvement révolutionnaire de 1848 ne s'arrêta pas à Kastel, le maire, le policier et le gardien de l'école furent destitués. En 1882-85, l'actuel pont Theodor Heuss fut construit. En 1896, les ponts-levis et les portes de Kastel furent démolis, et depuis 1904, l'enceinte intérieure fut également supprimée. On installa alors l'usine hydraulique à l'Ochsenbrunnen, Kastel fut doté d'une canalisation et de raccordements aux réseaux de gaz et d'électricité. Les associations de Kastel - les pompiers volontaires de 1866, la société d'aviron et de canoë de 1880, les associations de gymnastique et de sport de 1846/1886 ou la Jocus-Garde de 1889 - ont une longue tradition. Kastel est un haut lieu du carnaval, le Karneval Club est l'un des quatre organisateurs de la séance télévisée qui est diffusée chaque année dans toute l'Allemagne le vendredi précédant le week-end du carnaval.

La Seconde Guerre mondiale a eu des conséquences désastreuses pour Kastel. Le bombardement par les forces aériennes britanniques et américaines le 08.09.1944 a entraîné la destruction presque totale du centre du village. Plus de 300 habitants y ont trouvé la mort. Le Kastel moderne s'est développé au-delà du terrain de 21 hectares de l'Air Forces Europe Exchange, toujours utilisé à des fins militaires, au nord du centre-ville. Les plus grands nouveaux quartiers, "Krautgärten" et "An der Helling", ont été construits depuis le milieu des années 1990. En 2015, 12 537 personnes vivaient à Kastel dans 5 972 ménages. Les chrétiens catholiques sont fortement représentés, avec plus de 50 % de la population, tandis que la communauté protestante est estimée à près de 40 % de la population. Environ 20 % de la population est constituée de migrants.