Die Andreaskirche - genutzt für Sonderausstellungen - und die früheren Stiftsgebäude gehören zum reichen romanischen Bauerbe der Stadt und wurden seit dem Beginn des 13. Jahrhunderts neu errichtet. St. Andreas bestand zwischen der Zeit kurz nach 1000 und dem Jahre 1802 als Kollegiatstift und liegt direkt an der Stadtmauer.
Zu Beginn des 19. Jahrhunderts profaniert und von der Stadt unter anderem als Fruchtlager sowie für die Feuerwehr genutzt, wurde das vormalige Andreasstift mit seinem spätromanischen Kreuzgang in den Jahren 1928 bis 1930 umgebaut und beherbergt seither die seinerzeit der Stadt Worms geschenkten Sammlungen des Altertumsvereins. Dieser hatte seit seiner Gründung 1879 vor allem reiche archäologische Funde gesammelt, die bis heute den Schwerpunkt der Museumsbestände ausmachen. Das erste Museum richtete der Verein 1881 im vormaligen Paulusstift ein, das in den 1920er Jahren geräumt werden musste. Die Museumseinweihung fand am 01. Juli 1930, dem Tag der "Befreiung" des linken Rheinufers von französischer Besetzung, in Anwesenheit des hessischen Staatspräsidenten statt.
Nach Kriegszerstörungen am Kreuzgang ist die Sammlung nach 1945 wieder in das Museum eingezogen, das Archäologie und Stadtgeschichte miteinander verbindet.
Im "Weißen Saal" im Erdgeschoß befindet sich seit einigen Jahren das eindrucksvolle Stadtmodell, das das Erscheinungsbild der Stadt vor ihrer Zerstörung im Jahre 1689 anschaulich macht. Alte Worms-Filme der 1920er bis 1950er Jahre vermitteln einen lebendigen Eindruck von den Brüchen der jüngeren Geschichte.
