Den Grundstock zur Stuttgarter Sammlung legte 1924 Graf Silvio della Valle di Casanova mit der Schenkung seiner Privatsammlung Schwäbischer Impressionisten. Nach Zerstörung der Villa Berg im Zweiten Weltkrieg fand die »Galerie der Stadt Stuttgart« 1961 im Kunstgebäude am Schlossplatz neue Ausstellungsräume. Eugen Keuerleber, der seit 1945 die städtische Kunstsammlung betreut hatte, machte Adolf Hölzel und Otto Dix zu zentralen Schwerpunkten der Sammlung. Direktor Johann-Karl Schmidt ergänzte ab 1986 mit Werken international renommierter Künstler wie Joseph Kosuth, Dieter Krieg, Wolfgang Laib, Markus Lüpertz, Dieter Roth und K.R.H. Sonderborg. Darüber hinaus konnten bedeutende Sammlungen als Dauerleihgaben gewonnen werden: 1992 die Sammlung Rudolf und Bertha Frank, 1994 die Konrad Knöpfel-Stiftung Fritz Winter. Bereits unter der heutigen Direktorin Marion Ackermann bezog das Archiv Baumeister 2005 eigene Räume im gerade fertig gestellten Museumsneubau. Zuletzt wurde der Bestand um die Sammlung Teufel mit Werken der Konkreten Kunst erweitert.
