Die Eltviller Burg wurde 1330 von Erzbischof Balduin von Trier erbaut. Als 1332 Eltville die Stadtrechte verliehen bekam, baute man die Burg weiter aus, wobei ebenfalls eine Ringmauer mit Wehrtürmen um die Stadt errichtet wurde. Nach einem Brand im Jahr 1339 bauten die Erzbischöfe Heinrich und Gerlach die Befestigung erneut auf. Sie diente dann im 14. und 15. Jahrhundert den Mainzer Erzbischöfen als Residenz.

1465 bekam Gutenberg eine Leibrente und seine Ernennung zum Hofedelmann von Erzbischof Adolf II. von Nassau in der Eltviller Burg verliehen. Mit der 1467 von Gutenbergs Schüler Heinrich Bechtermünz eingerichteten Druckerei gehört Eltville zu den ersten sieben Druckstätten der Welt.

Die Burg wurde 1635 von den Schweden zerstört, wobei nur der Wohnturm erhalten blieb. Im Jahr 1682 baute man den Ostflügel in anderer Form wieder auf.

Heute finden in der Burg jährlich die Burghofspiele statt.
Am ersten Wochenende im Juli feiert man in und um die Burg das Eltviller Sektfest.
Sehenswert ist auch der schön gestaltete Rosengarten im ehemaligen Burggraben. Eindrucksvoll ist auch der viergeschossige Wohnturn. Er enthält eine Sammlung zur Entstehung des Buchdrucks.