Ursprünglich ließ Prinz Eugen von Savoyen das Gartenpalais für seine Sommerresidenz errichten, die er etwas abseits von Wien haben wollte. Da er ein großer Kunstliebhaber war, beauftragte er 1714 den berühmten Architekten Johann Lukas von Hildebrandt mit dem Bau eines Ortes, der zum Nachdenken und zur Ruhe einlädt.
Acht Jahre später war es soweit: Die erhabenen Barockräume in Verbindung mit dem großen Hof waren der ideale Zufluchtsort für den Prinzen. Er richtete dort eine riesige Gemäldesammlung ein, die im Laufe der Jahre immer weiter wuchs.