Το Κάστελ αναφέρεται για πρώτη φορά ως προγεφύρωμα του Μάιντς γύρω στο 10 π.Χ. Υπό την απειλή των Αλαμάνων, η προστασία του φρουρίου βελτιώθηκε τον πρώτο αιώνα με την κατασκευή τειχών γύρω από τον οικισμό. Γύρω στο 71, κατασκευάστηκε μια πέτρινη γέφυρα υπό τον αυτοκράτορα Βεσπασιανό, η οποία εξακολουθούσε να υπάρχει και κατά τη διάρκεια της βασιλείας του αυτοκράτορα Μαξιμιανού. Οδηγούσε στη σημερινή Große Kirchenstrasse/ Rathausstrasse, απευθείας στο ρωμαϊκό φρούριο, η δεύτερη πύλη του οποίου βρισκόταν λίγα μόλις μέτρα μακριά από τα θεμέλια της ρωμαϊκής αψίδας της τιμής, τα οποία ανακαλύφθηκαν το 1986. Ο πολιτικός οικισμός, ο οποίος ιδρύθηκε τον 2ο αιώνα, ονομαζόταν "castellum matiacorum". Η γέφυρα, η οποία καταστράφηκε στις αρχές του 4ου αιώνα, ξαναχτίστηκε από τον Καρλομάγνο το 803, χρησιμοποιώντας το ρωμαϊκό πασσαλόφρακτο πλέγμα- ωστόσο, καταστράφηκε από πυρκαγιά το 813. Μετά από αυτό, ο ποταμός μπορούσε να διασχίζεται μόνο με πρωτόγονα πορθμεία. Μόλις τον 17ο αιώνα κατασκευάστηκε και πάλι γέφυρα πλοίων. Τον 10ο αιώνα, το Κάστελ ήταν αυτοκρατορικό κτήμα. Αργότερα, μεγάλα τμήματα πέρασαν στην επισκοπή του Mainz, της οποίας η ιδιοκτησία γης στο Kastel έχει καταγραφεί από τον 11ο αιώνα. Το δικαίωμα της αιγίδας επί των εκκλησιών ασκούσε το αβαείο του Αγίου Πέτρου στο Μάιντς, όπως μαρτυρούν τα ονόματα Petersberg και Petersaue. Άλλοι πνευματικοί γαιοκτήμονες ήταν οι Τεύτονες Ιππότες, η Μονή Jakobsberg και το Νοσοκομείο των Φτωχών του Αγίου Πνεύματος του Μάιντς, το οποίο έδωσε το όνομά του στην περιοχή Spittelstück.

Η εκκλησιαστική ιστορία του Kastel χρονολογείται από την ύστερη αρχαιότητα. Σύμφωνα με τον θρύλο, ο στρατιώτης-μάρτυρας Φερούτιος πέθανε στο Κάστελ. Μια ενοριακή εκκλησία καταγράφεται μόλις το 1147, ενώ ένας ιερέας κατονομάζεται το 1281. Μια εκκλησία αφιερωμένη στον Άγιο Γεώργιο χρονολογείται πιθανότατα από τον 6ο αιώνα. Η προστασία της πέρασε αργότερα σε ένα παρεκκλήσι αφιερωμένο στην Κοίμηση της Θεοτόκου εντός των οχυρώσεων της πόλης, το οποίο καταγράφηκε το 1450. Αυτή η νέα, νεότερη εκκλησία του Αγίου Γεωργίου ανοικοδομήθηκε μετά την καταστροφή του Κάστελ τον 17ο αιώνα και εγκαινιάστηκε το 1746. Το 1944 καταστράφηκε ολοσχερώς κατά τη διάρκεια του βομβαρδισμού του Κάστελ- ένα εντελώς τροποποιημένο νέο κτίριο ανεγέρθηκε το 1977. Υπάρχουν στοιχεία για την ύπαρξη αδελφότητας του Αγίου Ιακώβου στο Κάστελ από το 1127.

Το Κάστελ αναφέρεται για πρώτη φορά ως πόλη το 1237. Από το 1240, η πόλη ενεπλάκη σε πολεμικές συγκρούσεις μεταξύ της δυναστείας των Hohenstaufen και των ευγενών του Μέσου Ρήνου και καταστράφηκε και ανοικοδομήθηκε αρκετές φορές. Το 1484, ο αρχιεπίσκοπος του Μάιντς, Berthold von Henneberg, εξασφάλισε το Κάστελ με ένα σύστημα χερσαίας άμυνας με τέσσερις αμυντικούς πύργους, συμπεριλαμβανομένου του Erbenheimer Warte. Από εκείνη τη στιγμή και μετά, ο Μητροπολίτης του Μάιντς ήταν ο αδιαμφισβήτητος άρχοντας της πόλης. Μια από τις παλαιότερες αγορές της περιοχής, η αγορά του Αγίου Βαρθολομαίου, ιδρύθηκε το 1475. Ο πληθυσμός ζούσε από τη γεωργία και την αμπελουργία. Εκπρόσωπος των κοσμικών αρχών ήταν ο Schultheiß (δήμαρχος), ο οποίος ανάγεται στα μέσα του 14ου αιώνα. Τον πνευματικό άρχοντα της πόλης εκπροσωπούσε ο δικαστικός επιμελητής. Μια δικαστική σφραγίδα με τον προστάτη της εκκλησίας Άγιο Γεώργιο στη σφραγίδα χρονολογείται από το 1453. Το δικαστήριο και το δημαρχείο του Kastel αναφέρεται για πρώτη φορά σε έγγραφο το 1510. Καταστράφηκε από τους Γάλλους το 1689, ξαναχτίστηκε το 1755 και αντικαταστάθηκε από νέο κτίριο τη δεκαετία του 1880. Μια νέα γέφυρα πλοίων χτίστηκε το 1661- το 1690 υπήρχαν 1.100 κάτοικοι και 225 σπίτια στο Κάστελ. Οι πολεμικές συγκρούσεις και τα επακόλουθα του Τριακονταετούς Πολέμου επιβάρυναν την πόλη κατά τον 17ο αιώνα. Το 1666, πάνω από τον μισό πληθυσμό ξεψύχησε από την πανούκλα. Για να περιοριστεί η πανούκλα, χτίστηκε γύρω από την εκκλησία του Αγίου Γεωργίου το λεγόμενο τείχος πανούκλας, πίσω από το οποίο περιθάλπονταν οι ασθενείς και θάβονταν οι νεκροί. Τμήματά του διατηρούνται ακόμη και σήμερα. Το 1689, οι Γάλλοι έκαψαν την πόλη. Από το 1792, το φρούριο του Κάστελ χρησιμοποιήθηκε ως στρατιωτικό προγεφύρωμα από τον γαλλικό επαναστατικό στρατό υπό τον στρατηγό Κουστίν και αργότερα επεκτάθηκε από τον Ναπολέοντα. Το 1816, η Αυστρία και η Πρωσία ανέλαβαν τις οχυρώσεις και τις επέκτειναν το 1832/33 για να συμπεριλάβουν το αμυντικό συγκρότημα Reduit στις όχθες του Ρήνου.

Στο Κάστελ υπήρχε σχολείο από τις αρχές του 17ου αιώνα. Ο δάσκαλος κατείχε επίσης το αξίωμα του δικαστικού υπαλλήλου, του κωδωνοκρουστή και του οργανοπαίχτη. Τα μαθήματα γίνονταν αρχικά πιθανώς στο δημαρχείο, προτού χτιστεί ξεχωριστό σχολικό κτίριο το 1671. Το 1841 αντικαταστάθηκε από ένα κτίριο στην Eisenbahnstraße, το οποίο ήταν κατάλληλο για τέσσερις τάξεις. Το 1911, όλες οι τάξεις ενσωματώθηκαν σε ένα νέο μεγάλο σχολικό κτίριο στην Ludwigsplatz, το οποίο μετονομάστηκε σε Gustav Stresemann School μετά την ενσωμάτωσή του το 1963. Γύρω στο 1900, υπήρχαν δύο καθολικά και ένα προτεσταντικό δημοτικό σχολείο. Το σχολείο Wilhelm Leuschner προστέθηκε το 1975. Η πλειοψηφία του πληθυσμού ήταν καθολικοί. Μόλις το 1859 ιδρύθηκε μια προτεσταντική κοινότητα, η οποία απέκτησε τη δική της εκκλησία το 1878. Μια ανεξάρτητη εβραϊκή κοινότητα, οι απαρχές της οποίας χρονολογούνται από τον 15ο αιώνα, υπήρχε μέχρι τη μεταφορά της στο Μάιντς το 1914. Το 1452 καταγράφονται τουλάχιστον πέντε εβραϊκές οικογένειες. Γύρω στο 1700, υπήρχαν και πάλι Εβραίοι που ζούσαν στο Κάστελ, οι οποίοι σχημάτισαν κοινότητα μαζί με εκείνους του Κόστχαϊμ- συνολικά υπήρχαν περίπου 12 έως 14 εβραϊκές οικογένειες. Το 1843, η κοινότητα είχε αυξηθεί σε 97 άτομα. Το 1833/34 χτίστηκε μια συναγωγή με κοινοτικό κέντρο στην Frühlingsstraße, η οποία πωλήθηκε μετά τη διάλυση της κοινότητας το 1914 και αργότερα κατεδαφίστηκε. Από το 1814, η κοινότητα είχε δικό της δάσκαλο και προϊστάμενο, ενώ από το 1830 υπήρχε και ιατρείο. Οι νεκροί θάφτηκαν στο Μάιντς. Ακόμη και μετά το 1914, υπήρχαν ακόμη Εβραίοι κάτοικοι στο Κάστελ, 24 από τους οποίους έπεσαν θύματα του Ολοκαυτώματος.

Μετά την αποχώρηση των Γάλλων, το Κάστελ συνέχισε να συνδιοικείται από το Μάιο του 1814 από το Μάιντς, προτού και οι δύο πόλεις ανατεθούν στο Μεγάλο Δουκάτο της Έσσης στο Ντάρμσταντ ως ομοσπονδιακά φρούρια μετά το Συνέδριο της Βιέννης το 1815. Μόλις το 1908 το Κάστελ ενσωματώθηκε οριστικά στο Μάιντς. Τελικά, το 1945, το Κάστελ, μαζί με το Άμονεμπουργκ και το Κοστχάιμ, ενσωματώθηκε στην αστική περιφέρεια του Βισμπάντεν. Τον 16ο αιώνα, ξεκίνησε η μεγάλη εποχή των σχεδώνων. Η Christof Ruthof GmbH Schiffswerften und Maschinenfabrik ήταν σημαντικός εργοδότης. Τα πρώτα ατμόπλοια του Ρήνου άρχισαν να ταξιδεύουν εδώ το 1825. Το Κάστελ συνδέθηκε με τον σιδηρόδρομο Taunus από τη Φρανκφούρτη στο Βισμπάντεν το 1839. Το επαναστατικό κίνημα του 1848 δεν σταμάτησε στο Κάστελ- ο δήμαρχος, ο αστυνόμος και ο διευθυντής του σχολείου καθαιρέθηκαν. Το 1882-85 κατασκευάστηκε η σημερινή γέφυρα Theodor Heuss. Το 1896 κατεδαφίστηκαν οι γέφυρες και οι πύλες στο Κάστελ, ενώ το 1904 αφαιρέθηκε και το εσωτερικό τείχος. Τώρα κατασκευάστηκαν τα έργα ύδρευσης στο Ochsenbrunnen, το Kastel απέκτησε σύστημα αποχέτευσης και συνδέσεις με τα δίκτυα φυσικού αερίου και ηλεκτρισμού. Οι σύλλογοι του Κάστελ - η εθελοντική πυροσβεστική από το 1866, η κοινωνία κωπηλασίας και κανό από το 1880, οι γυμναστικοί και αθλητικοί σύλλογοι από το 1846/1886 ή η Jocus-Garde από το 1889 - έχουν μακρά παράδοση. Το Kastel είναι προπύργιο του καρναβαλιού και ο καρναβαλικός σύλλογος είναι ένας από τους τέσσερις διοργανωτές της τηλεοπτικής συνεδρίας, η οποία μεταδίδεται σε εθνικό επίπεδο κάθε χρόνο την Παρασκευή πριν από το καρναβαλικό Σαββατοκύριακο.

Ο Δεύτερος Παγκόσμιος Πόλεμος είχε καταστροφικές συνέπειες για το Κάστελ. Ο βομβαρδισμός από τη βρετανική και αμερικανική αεροπορία στις 8 Σεπτεμβρίου 1944 οδήγησε στη σχεδόν πλήρη καταστροφή του κέντρου της πόλης. Πάνω από 300 κάτοικοι έχασαν τη ζωή τους. Το σύγχρονο Κάστελ έχει αναπτυχθεί πέρα από την έκταση των 21 εκταρίων του χώρου του Air Forces Europe Exchange στα βόρεια του κέντρου της πόλης, ο οποίος εξακολουθεί να χρησιμοποιείται για στρατιωτικούς σκοπούς. Τα μεγαλύτερα νέα συγκροτήματα κατοικιών, "Krautgärten" και "An der Helling", έχουν κατασκευαστεί από τα μέσα της δεκαετίας του 1990. Το 2015, 12.537 άτομα ζούσαν στο Κάστελ σε 5.972 νοικοκυριά. Οι καθολικοί χριστιανοί εκπροσωπούνται έντονα με ποσοστό άνω του 50 % του πληθυσμού, ενώ η προτεσταντική κοινότητα αντιπροσωπεύει λίγο κάτω από το 40 % του πληθυσμού. Περίπου το 20% του πληθυσμού είναι μετανάστες.