Die Festung wurde 1219 als Zollburg am Rüdesheimer Berg fertiggestellt. Mit dem um die gleiche Zeit errichteten Mäuseturm, hatte man eine einträgliche Zollstelle für Schiffer, die das Binger Loch passieren wollten. Dieser Rheinzoll wurde ab 1298 auf Höhe der Burg erhoben.

Im 15. und 16. Jahrhundert wurde die Festung von den Mainzer Erzbischöfen benutzt, in Kriegszeiten brachte man hier den Mainzer Domschatz unter.

Als 1419 der Erzbischof Johannes II. starb, versammelte sich in den Mauern der Burg sogar das gesamte Domkapitel und wählte Konrad III. zu seinem Nachfolger.

Die Burg wurde 1631 von den Schweden besetzt, die sie aber vier Jahre später in bewohnbaren Zustand wieder verließen. 1689 wurde sie von den Franzosen eingenommen und durch Brand so zerstört, wie sie heute zu sehen ist.Trotzdem ist die Festung mit ihrer fast 5m dicken Schildmauer noch heute ein imposantes Bauwerk.

Bis 1803 gehörte die Burg dem Mainzer Kurfürstum, nach der Säkularisation wurde sie in den Besitz des nassauischen Herzogtums übernommen. Nach dessen Auflösung wurde sie preußisches Eigentum. Seit 1945 ist die Ruine Besitz des Landes Hessen, das sich um die Erhaltung kümmert.