Летом 1769 г. в Петербург прибыла коллекция графа Генриха Брюля, содержавшая множество гравюр и рисунков, свыше 600 картин голландской, фламандской, французской, итальянской и немецкой школ. Она была куплена у наследников графа Брюля, саксонского министра, подражавшего в собирательстве своему королю Августу III. Пользуясь услугами агентов короля и советами К.Г. фон Хейнекена, одного из лучших специалистов своего времени в вопросах искусства, Брюль составил большое собрание, отличавшееся высоким качественным уровнем. Среди его шедевров - полотна Рембрандта Портрет ученого и Портрет старика в красном , Рубенса Персей и Андромеда , работы Пуссена Снятие с креста и Ватто Затруднительное предложение , а также пейзажи кисти Рейсдаля. С этой коллекцией в Эрмитаж поступила серия видов Дрездена и Пирны, исполненная по заказу графа итальянским художником Белотто. Среди итальянских картин особый интерес вызывает полотно Тьеполо Меценат представляет Августу свободные искусства , написанное около 1745 г. для графа Альгаротти и подаренное им Брюлю. Заключенный в античном сюжете аллегорический смысл этого полотна легко прочитывается: Брюль энергично собирал картины для Августа III, способствуя процветанию искусств при саксонском дворе.

В 1771-1787 гг. по заказу императрицы Екатерины II для размещения дворцовых коллекций и библиотеки было построено здание на берегу Невы рядом с Малым Эрмитажем, которое превосходило его своими размерами и стало называться Большим Эрмитажем. Созданное архитектором Ю.М. Фельтеном трехэтажное строение органично вписалось в существовавший дворцовый ансамбль. Строгость и простота облика Большого Эрмитажа соответствовали духу классицизма XVIII в. Решение его фасада построено на сочетании ритмов горизонтальных членений и вертикалей оконных проемов.
В 1792 г. Джакомо Кваренги пристроил к Большому Эрмитажу корпус, в котором разместились Лоджии Рафаэля - близкое к оригиналу повторение знаменитой галереи папского дворца в Ватикане.