Впервые церковь у Галерной гавани появилась в 1725 году, когда сюда перенесли полотняную церковь. В 1792 году по проекту Я. Перрена была построена деревянная церковь Пресвятой Троицы. Далее неоднократно возникала идея воздвигнуть каменный храм, собирать средства на строительство начали ещё с 1822 года. Первым жертвователем стал шкипер Гребного порта М. Ф. Кенин. Начало строительства стало возможным лишь к концу XIX века.

В 1886 году было возбуждено ходатайство об отводе участка земли. В 1887 году был утверждён проект храма, его авторами стали В. А. Косяков и Д. К. Пруссак. Это стало их первой крупной работой. Предварительно Косяковым на церковном участке была возведена деревянная часовня. В часовне поместили икону Божией Матери Милующей, привезённую с Афона. Средства на часовню пожертвовал ктитор строящегося храма купец Д. Заикин.

11 июня 1887 года состоялось освящение места строительства. Участок находился на заболоченной местности, потому в 1888 году под руководством Ф. С. Харламова были устроена насыпь, проведены другие работы по укреплению грунта под фундаментом. В 1889 году освятили закладку храма. К тому времени уже были сооружены фундамент и часть стен.

Осенью 1892 года здание подвели под крышу. Железо для куполов было пожертвовано благотворительницей Галерной гавани графиней Н. А. Стенбок-Фермор. В 1894 году на куполах установили кресты. Отделка интерьеров продолжалась ещё 15 лет.

15 декабря 1896 года освятили северный придел преподобного Андрея Критского. После этого храм был принят морским ведомством, которое перечислило средства на завершение строительства. 25 октября 1898 года состоялось освящение храма во имя иконы Божией Матери Милующей. 28 марта 1900 года освятили южный придел в память о святых Сергии Радонежском и Феодосии Черниговском. В 1903 году колокольню увенчали золотой короной.

Храм (вмещал 1800 человек) находится в глубине участка, на Большом проспекте Васильевского острова. Вдоль дороги в 1903 году была сооружена металлическая ограда на гранитном цоколе (утрачена). Вокруг храма разбили сад.

При церкви было образовано благотворительное общество, а также открыты школа для сирот, детский приют и богадельня.

Церковь иконы Божией Матери Милующей стала доминантой района. Высота здания составила 42 метра. Основываясь на приобретённом здесь опыте, архитектор В. А. Косяков построил Морской собор в Кронштадте.

В 1932 году храм был закрыт. В здании разместилась учебно-техническая станция лёгкой водолазной подготовки Краснознамённого отряда подводного плавания имени С. М. Кирова. Под главным куполом здания поместили барокамеру. В алтаре и боковых приделах также соорудили приспособления для проведения опытов и тренировок. В северном приделе расположили музейную экспозицию, посвящённую спасательному снаряжению подводников.

В 1990-х годах предпринимались попытки вернуть здание храма церкви. Но после гибели подводной лодки Курск в 2000 году церковь сочла настоящее использование здания богоугодным, от претензий на него отказалась.