Seit dem Jahr 817 ist der Weinbau um Johannisberg verbürgt. Zu Beginn des 12. Jahrhunderts gelang der Bischofsberg durch eine Schenkung des Erzbischofs Ruthard von Mainz in den Besitz der Benediktinerabtei St.Alban. Die Benediktiner sollten auf diesem Berg das erste Kloster (das jetzige Schloss) im Rheingau gründen. 1130 wurde die Abtei selbständig und weihte ihre Kirche Johannes dem Täufer, womit sich auch der heutige Name des Ortes erklärt.

Im Jahr 1716 kaufte die Abtei Fulda das Kloster und legte die Weinberge mit Rieslingreben neu an. Das Jahr 1775 steht in der Geschichte von Johannisberg für ein besonderes Ereignis: jedes Jahr musste ein Bote die Erlaubnis zur Weinlese in Fulda einholen. In diesem Jahr verspätete sich der Bote auf dem Rückweg, und bei seiner Ankunft auf dem Schloss waren die Trauben an den Stöcken verfault. Man kelterte die Trauben trotzdem und erhielt einen Wein von außerordentlichem Geschmack. Seit dieser Zeit gibt es die Spätlese, bei der die Trauben erst geerntet werden, nachdem sich der relative Zuckergehalt durch Reife, und eventuell die Edelfäule (Botrytis cinerea), erhöht hat. Dem Boten setzte man in Johannisberg ein Denkmal, das an den `Spätlesereiter` erinnern soll.

1802 wurde das Kloster säkularisiert. Nach einigen anderen Besitzern, wurde es 1816 durch Kaiser Franz I. von Österreich dem Fürsten Metternich für seine Verdienste auf dem Wiener Kongress geschenkt. Bis heute besteht die Verpflichtung den zehnten Teil der Weinernte an die Familie Habsburg zu entrichten.

Im zweiten Weltkrieg wurden Schloss, Kirche und Nebengebäude durch Bombadierung beschädigt.

Das Schloss liegt ziemlich genau auf dem 50. Breitengrad, der durch Markierungen unterhalb des Schlossgeländes gekennzeichnet ist.