В южной части будущей Исаакиевской площади, где сейчас располагается Мариинский дворец, в 1761 году приобрёл участок граф Иван Григорьевич Чернышёв - генерал-поручик, действительный камергер. Для него здесь к 1765 году Ж. Б. Валлен-Деламотом был построен дворец с садом. 4 апреля граф отпраздновал своё новоселье. В декабре 1766 года он принимал здесь императрицу Екатерину II. В одной из комнат для неё всегда стояло кресло, здесь она играла в карты. Перед дворцом Чернышёва был устроен парадный двор. Немецкий астроном И. Бернулли писал:

Осмотрел я чудный дворец графа И. Г. Чернышёва, который конечно, одна из достопримечательностей Петербурга. Снаружи он построен на французский манер, со многими статуями, нишами и прочим... в комнатах графа и парадных комнатах соединяется вкус с истинно царским великолепием. С главной лестницы входите прежде всего в комнату, где находятся часть библиотеки и модели кораблей, морские карты и пр.; между ними большая прекрасная модель здешнего Адмиралтейства... Здесь всегда замечательное множество прекрасных картин...

После смерти Ивана Григорьевича в 1797 году дворец перешёл по наследству его старшему сыну от второго брака с Исленьевой Анной Александровной - Григорию. Через некоторое время дворец из-за долгов был заложен и взят в казну. Часть помещений стала сдаваться в аренду. Здесь торговали картинами, табаком, колбасами. На втором этаже и в саду расположилось мещанское общество Шустер-клуб . Некоторое время во дворце Чернышёва проживал эмигрировавший из Франции принц Конде. При этом на фасаде здания появилась надпись Отель Конде .

В конце 1810х годов этот участок предполагалось отдать для строительства дворца великого князя Михаила Павловича, младшего брата императора Александра I. Проект дворца разрабатывал Карл Росси. Новое здание задумывалось в виде трапеции с главным фасадом выходящим на площадь и боковыми корпусами по Вознесенскому проспекту и по вновь проложенному переулку. В завершении трапеции зодчий разместил здание манежа с хозяйственными флигелями, во дворе - сад. Перед дворцом предполагалось снести несколько частных домов, расширить Синий мост, сделать просторную площадь. От этого проекта перестройки дома Чернышёва отказались, сославшись на дороговизну выкупа находящихся здесь других частных строений. Позже для Михаила Павловича Карлом Росси был построен Михайловский дворец.

В мае 1823 года Николай I учредил Школу гвардейских подпрапорщиков. Первоначально это учебное заведение размещалось в казармах лейб-гвардии Измайловского полка. 10 августа 1825 году школе был передан дворец Чернышёва. На аттике здания поместили герб, дворец надстроили третьим этажом. В 1826 году учебное заведение стало называться Школой гвардейских подпрапорщиков и кавалерийских юнкеров. Здесь учился великий русский поэт М. Ю. Лермонтов, в то время юнкер лейб-гвардии Гусарского полка. Вместе с ним здесь учился будущий генерал-фельдмаршал А. И. Барятинский.