Το κάστρο Frauenstein, που αναφέρεται για πρώτη φορά το 1221, είναι ένα από τα παλαιότερα κτίρια στο Βισμπάντεν: σύμφωνα με δενδροχρονολογικές μελέτες, χτίστηκε το 1182. Ένας από τους κατασκευαστές του ήταν ο Heinrich Bode von Frauenstein, ο οποίος βρισκόταν στην υπηρεσία του Αρχιεπισκόπου του Mainz.

Το κάστρο Frauenstein περιήλθε στην ιδιοκτησία του Αρχιεπισκόπου του Mainz το 1300. Από το 1421, οι κόμητες του Νασσάου ενεργούσαν ως Burgmannen για λογαριασμό του Μάιντς. Το Μάιντς μπόρεσε να αντισταθεί στις προσπάθειες κατάληψης του Κάστρου Φραουενστάιν μέχρι το 1803. Μόνο τότε η οικογένεια Νασσάου κατάφερε να καταλάβει το κάστρο.

Από το 1821, η Εταιρεία Αρχαιοτήτων του Νασάου είναι υπεύθυνη για τη διατήρησή του. Το 1996, το κάστρο πωλήθηκε από το κρατίδιο της Έσσης στην Burgverein Frauenstein e.V.

Η παλαιότερη άποψη του κάστρου Frauenstein από το 1723 δείχνει έναν πύργο με ξύλινο πυργόσπιτο και απότομη στέγη, όπως ακριβώς εμφανίζεται το κάστρο σήμερα. Ο πύργος, ο οποίος είναι πενταγωνικός εξωτερικά και τετράγωνος εσωτερικά, χρονολογείται από τον 13ο αιώνα και είναι κατασκευασμένος από πρασινωπό γνεύσιο με τοίχους πάχους έως και 2 μέτρων. Ο τριώροφος πύργος ήταν προσβάσιμος από μια ξύλινη σκάλα στο εξωτερικό- στο εσωτερικό, μια πέτρινη σκάλα συνδέει τους τρεις ορόφους. Μια απότομη ξύλινη σκάλα οδηγεί από τον άνω όροφο με το θολωτό βαρέλι στην πλατφόρμα του πύργου και στο ξύλινο δωμάτιο του πύργου. Οι δύο οικιστικοί όροφοι μπορούσαν να θερμανθούν από ένα τζάκι.

Από το 1999, το κτίριο αναλύθηκε και ασφαλίστηκε δομικά, ενώ το 2001 και το 2002 αποκαταστάθηκε το δωμάτιο του πύργου με την απότομη δίρριχτη στέγη του. Ωστόσο, το θαμμένο υπόγειο δεν αποκαλύφθηκε. Η τάφρος του λαιμού και τα υπολείμματα του τείχους της ασπίδας παραμένουν εκεί.