На протяжении почти ста лет своего существования Музей истории Санкт-Петербурга неоднократно менял название и месторасположение.

В 1907 году по инициативе известных исследователей искусства, художников, архитекторов и коллекционеров А. Н. Бенуа (первый председатель дирекции музея), П. П. Вейнера, В. А. Покровского, А. Ф. Гауша, барона Н. Н. Врангеля, Н. Е. Лансере, В. Я. Курбатова, князя В. Н. Аргутинского-Долгорукова был основан Музей Старого Петербурга. Он разместился в доме графа П. Ю. Сюзора (Съездовская линия, 21). В музей поступали уникальные документы, чертежи, фотографии, предметы быта, произведения искусства, книги, детали  разобранных или подвергшихся перестройке зданий. В 1912 году фонды музея насчитывали 1457 единиц хранения, в 1918 году — 2865. В их числе: коллекция архитектурной графики Ф.-Б. Растрелли, Ч. Камерона, А. Захарова, Ж.-Ф. Тома де Томона; 20 старинных экипажей; 245 чертежей и рисунков Дж. Кваренги; коллекция меню; изделия Императорского фарфорового завода, заводов Корнилова и Батенина.

После Февральской революции 1917 года музей, коллекции которого были перевезены в Зимний дворец, а затем в дом Мятлевых (Исаакиевская площадь, 9), закрылся.

В 1918 году был создан Музей Города, музей урбанистической культуры. Он стал одним из немногих музеев подобного рода в России и Европе XX века.

Музей занимал несколько зданий: Аничков дворец, дом графини Н. Ф. Карловой (наб. реки Фонтанки, 46) и дом Серебрянниковых (наб. реки Фонтанки, 35). Основу его собрания составили экспонаты нескольких музеев и выставок. На правах самостоятельного отдела в Музей Города вошел Музей Старого Петербурга. В 1918–1928 годах директором Музея Города был Л. А. Ильин, известный архитектор, историк архитектуры, один из основоположников теории и практики советского градостроительства, главный архитектор Ленинграда (1925–1938), руководивший разработкой Генерального плана развития города. Благодаря усилиям Ильина Музей Города стал крупным научным и просветительским центром Петрограда–Ленинграда 1920-х годов.

В 1928 году Музей Города ликвидировали. Предметы из его собрания оказались в других российских музеях и за рубежом. 23 января 1929 года Советское правительство приняло решение о мерах по усилению экспорта и реализации за границей предметов старины и искусства. Всероссийскому экспортному фонду достались и многие уникальные экспонаты Музея Города: библиотека герцога Г. Г. Мекленбург-Стрелицкого, ценнейшая коллекция произведений декоративно-прикладного искусства из особняка графини Н. Ф. Карловой, имущество Сервизной кладовой Аничкова дворца и другие предметы. Однако часть экспонатов из Музея Города и по сей день хранится в Государственном музее истории Санкт-Петербурга.

В 1938 году был образован Музей истории и развития Ленинграда, разместившийся в Особняке Румянцева. Сюда были переданы некоторые сохранившиеся коллекции Музея Города. В 1954 году Музей переименовали в Государственный музей истории Ленинграда, в состав которого вошел комплекс зданий Петропавловской крепости: Петропавловский собор, Великокняжеская усыпальница, Ботный дом, Трубецкой и Зотов бастионы.

В 1993 году, после возвращения Ленинграду исторического имени, музей получил название Государственный музей истории Санкт-Петербурга.