Das Stadt- und Bergbaumuseum entstand im Jahre 1861 als Sammlungsstätte des städtischen Altertumsvereins. Gesammelt wurden viele Zeugen der Vergangenheit, gegliedert nach kirchlichen und bürgerlichen Werken. Im Jahre 1903 bezog das Museum, das man nun König-Albert-Museum nannte, sein gegenwärtiges Gebäude, den sogenannten Domherrenhof.
Dieser kunsthistorisch bedeutende spätgotische Bau wurde nach dem letzten großen Freiberger Stadtbrand 1484 errichtet und nahm bis zur Reformation im Jahre 1537 das Domkapitel auf. Seine Erdgeschossräume besitzen heute noch ein prächtiges Netzgewölbe. Im l. Stockwerk tragen mächtige profilierte Holzbalken die Decke. Über 300 Jahre lang - bis 1875 - beherbergte das Gebäude dann die Lateinschule der Stadt. Sanierung und Umbau zum Museumsgebäude erfolgten um 1902.
Zu Beginn des 20. Jahrhunderts verursachte die erste Stillegung des Freiberger Bergbaus eine verstärkte Hinwendung zur Bewahrung bergmännischer Altertümer. Seit dem Jahre 1926 nahm man eine wissenschaftlich begründete Neuaufstellung der Exponate vor. Aus Anlass der 750-Jahr-Feier der Stadt Freiberg wurde 1938 im Museum eine umfangreiche Schau zur Geschichte und Technik des Bergbaus in Deutschland veranstaltet. Die beginnende Ausrichtung auf die Kulturgeschichte des Bergbaus äußerte sich in der 1939 vorgenommenen Namensänderung in Stadt- und Bergbaumuseum.
Nach dem 2. Weltkrieg nahm man dank dem Engagement von Heino Maedebach schnell den Museumsbetrieb wieder auf. Er war es auch, der
1955 eine große Ausstellung der Freiberger Sakralkunst gestaltete. In den siebziger Jahren erfolgte eine grundlegende Neugestaltung der Dauerausstellungen. Nach 1990 begann die grundlegende Sanierung des Gebäudes, die nahezu ein Jahrzehnt in Anspruch nahm, sowie die schrittweise Neugestaltung und Erweiterung der ständigen Ausstellungen.
Neben den Ausstellungen beherbergt das Museum in seiner magazinierten Sammlung umfangreiche Stücke spätgotischer Plastik, eine bedeutende Sammlung historischer Blank- und Schusswaffen, sowie obersächsisches Kunsthandwerk. In der Graphiksammlung findet sich der graphische Nachlass von Johann Christian Klengel und der malerische Nachlass von Hugo Koerber. Die Fotothek des Museums verfügt über mehr als 10 000 fotografische Glasnegativplatten aus der Zeit der Jahrhundertwende der Fotografen Reymann (Vater und Sohn) mit Bauwerken und Straßenansichten der Stadt sowie äußerst wertvollen Aufnahmen vom Alltagsleben und dem Arbeitsprozess der Bergleute.
