Bis 1882 gehörte das Anwesen und die darauf liegende Konzession für Bierausschank Friedrich Walz. Die Wirtschaft führte den Namen „Bierkeller“, offenbar wegen des dahinterliegenden Eiskellers.

Georg Seitz, Wirt vom „Grünen Laub“, kaufte das Haus, erhielt aber erst 1883 die Erlaubnis zum Betrieb der Wirtschaft. Seine Witwe ersuchte 1887 um die Erweiterung der Konzession auf Branntwein-Ausschank. Noch im gleichen Jahr wurden die beiden Kegelbahnen an der heutigen Zeyherstraße gebaut. Nach der Heirat der Witwe Seitz mit dem Brauereibesitzer Johann Welde wurde die Wirtschaft zunächst verpachtet. Im Jahr 1910 wurde die Bierhalle an das Gebäude angebaut mit Zugang zum damaligen Biergarten. Der Sohn Georg Seitz übernahm die Wirtschaft im Jahr 1913. Von 1953 bis ins Jahr 1970 übernahm wiederum dessen Sohn Albert Seitz zusammen mit seiner Frau den Wirtschaftsbetrieb.

Um die Jahrhundertwende noch „Grünes Haus“ benannt, erhielt die Gaststätte im Jahr 1928 das Schild „Zum Schloßgarten Restaurant“. Der im Volksmund verwendete Name „Blaues Loch“ kann möglicherweise auf den Bau der Zirkelsäle zurückgeführt werden: Da das Schwetzinger Schloss bis zu seinem Umbau durch Kurfürst Carl-Theodor ein Wasserschloss war, musste der damals angrenzende Schlossweiher für den Neubau der Zirkelsäle trockengelegt werden. Das Gelände der Gaststätte schloss ursprünglich an den alten Schlossweiher an, so wurde nach der Trockenlegung im Volksmund der Begriff „am Blauen Loch“ bzw. „zum Blauen Loch“ geprägt. Somit hat der heutige Name unseres Hauses eine Tradition, die zurück bis ins 18. Jahrhundert führt.