В 1751 - 1752 гг. на краю верхней террасы возводится здание Нового летнего дворца. Надзор за строительством был поручен мастеру каменных дел М.- Л. Гофману. «П» – образная в плане постройка имела каменный центральный объем и деревянные флигели. Новый дворец стал первой постройкой ансамбля Собственной дачи: «большая аллея» (будущая Липовая), проложенная по оси Нового дворца в середине 1750-х гг., явилась первой планировочной осью Верхнего сада.

Деревянные флигели Нового дворца были разобраны в XIX в., а его центральный объем - каменный зал («Каменное зало») - сохранился как самостоятельное сооружение. В 1847 году в здании устраивается Лютеранская церковь; здесь по воскресным дням проходили богослужения, играл орган.

В ходе реконструкции, проведенной архитектором О.А. Паульсоном в 1902-1904 гг., в западной части здания возводится колокольня, круглая абсида с востока, переделывается декор южного и северного фасадов. Внутри здания был устроен алтарь и кафедра.

Последняя реконструкция здания проводилась в 1963-1967 гг., под руководством архитектора М.М. Плотникова. Во время реставрации была демонтирована колокольня, но интерьер здания в своем нынешнем виде является произведением начала XX в. В настоящее время здесь размещен выставочно-концертный зал.