Обширный двор в Капитанской слободе в петровское время принадлежал Якову Брюсу. В 1753 году он числился во владении обер-гофмейстера и генерал-аншефа Д. А. Шепелева, от которого перешёл к родственнице, фрейлине Марии Кошелевой (1725—1782). Её племянница Екатерина Волконская в 1781 году вышла замуж за Алексея Ивановича Мусина-Пушкина и через год получила участок в наследство от умершей тётки.
Торжественный классицистический ансамбль усадьбы был создан в 1790—1800-х годах. Он состоял из трёхэтажного каменного дома, флигелей и огромного сада с прудом на речке Чечоре . Ещё при постройке дома в нём была устроена домовая церковь Воскресения, которая после смерти в 1829 году Екатерины Алексеевны была закрыта.
В гостях у Мусина-Пушкина бывали В. А. Жуковский и Н. М. Карамзин . В 1812 году дом горел; именно тогда погибла библиотека Мусина-Пушкина, где находились бесценные средневековые рукописи, включая единственный список «Слова о полку Игореве».
Проектирование дворца Мусина-Пушкина, как и других крупных особняков рубежа XVIII и XIX веков, москвоведы связывают с именем М. Ф. Казакова ]. Документов на этот счёт не сохранилось. «Образ здания уникален в истории московского классицизма именно тем, что строится не на цельности его объёма, как знаменитые вертикальные композиции домов П. Е. Пашкова и Т. И. Тутолмина…, а на восприятии отдельных его фасадов» ]. Особого внимания заслуживает совпадение деталей этого здания и строившегося в это же время неподалёку дома Муравьёвых-Апостолов (Старая Басманная улица, 23).
