По сути, Малый Эрмитаж был первым зданием, с которого началась застройка набережной Невы на участке между зданием Зимнего дворца и Зимней канавкой. Строительство Малого Эрмитажа началось в 1764 году и закончилось спустя одиннадцать лет. Вслед за началом постройки Малого Эрмитажа архитектор Ю. М. Фельтен приступил к сооружению трехэтажного корпуса по Миллионной улице, который был связан с Малым Эрмитажем висячим садом, сохранившимся до наших дней. Из-за этого, кстати, сформировалось первоначальное название здания – Оранжерейный дом. Фасад Малого Эрмитажа, обращенный на Неву, отличается пышностью и богатством архитектурных форм. Он акцентирован монументальным портиком из шести коринфских колонн и декоративной скульптурой – статуями Флоры и Помоны, и венчающей аттик скульптурной группой. Ведущее значение в сооружении фасада Малого Эрмитажа Валлен-Деламот придал именно колоннаде портика - наиболее типичной архитектурной формы русского классицизма.
Во времена Екатерины II, южное крыло здания получило неофициальное прозвище «Фаворитский корпус» - первым его жильцом был граф Григорий Орлов, а затем его сменил князь Григорий Потемкин. Апартаменты, в которых жили фавориты, были соединены коридором с личными покоями императрицы. В северном крыле здания организовывались различные увеселительные вечера, устраивались театральные спектакли. Эти вечера сама Екатерина окрестила «малыми эрмитажными собраниями» , что привело в скором времени к переименованию Оранжерейного дома в Малый Эрмитаж.
