Владельцем теремов «у Харитония» был ближайший сподвижник Петра Великого, дипломат и вице-канцлер барон Петр Павлович Шафиров, которому за заслуги и преданность царь пожаловал большие владения с каменным домом близ Мясницкой. Вскоре вице-канцлер был обвинен в казнокрадстве, попал в немилость, и конфискованные у него палаты в 1723 году были отданы графу Петру Андреевичу Толстому, который стоял во главе Тайной канцелярии и вел следствие по делу царевича Алексея. В результате дворцовых интриг против князя Александра Даниловича Меньшикова, граф очень скоро оказался в опале и был сослан вместе с семьей в Соловецкий монастырь, где вскоре и умер.
В 1727 году палаты отошли к новому хозяину — обер-секретарю Военной коллегии Алексею Волкову, ближайшему помощнику Меньшикова, который, как свидетельствует в письме своему покровителю сам Волков, «от самого младенчества, в вашу милость милостиво принять и отечески воспитать и обучить и всегда содержать изволили».
В том же году Меньшиков терпит поражение в борьбе за власть, и «светлейшего» ссылают. У Волкова, как единомышленника опального князя, по приказу Петра II имущество отбирают, «понеже Алексей Волков, был при князе Меньшикове, явился во всех его, князя Меншикова, непорядочных и худых поступках " деревни и московский двор от него взять"». Интересно, что владельцем палат Волков был совсем недолго, меньше полугода, но его имя в истории закрепилось за Сокольничим дворцом, который с первой половины XVIII века в исторических документах стал именоваться палатами Волкова. 
В том же 1727 году Петр II подарил дворец князю Григорию Дмитриевичу Юсупову-Княжеву, жившему в палатах до своей кончины в 1730 году. При нем было положено начало легендарным богатствам рода Юсуповых, которые владели множеством дворцов, усадеб и деревень по всей России
«Волковы палаты» считались главным родовым дворцом князей Юсуповых в Москве, которым также принадлежала и красивейшая усадьба в подмосковном Архангельском. Именно в это время древние палаты в Большом Харитоньевском стали называться Юсуповским дворцом. 
История дворца неразрывно связана с именем самого знаменитого представителя княжеского рода — князя Николая Борисовича Юсупова. 
Юсуповский дворец связан с именем великого русского поэта А. С. Пушкина, который никогда не был владельцем здания, но несколько лет в нем жил. С. Л. Пушкин со своей семьей снимал западную часть палат 
Юный Пушкин часто играл в саду, ходил на службу в церковь св. Харитония, гостил в скромной усадьбе в Малом Харитоньевском .На протяжении всей жизни Пушкин не терял связи с князем Н. Б. Юсуповым.«… В сей утомительной прогулке
Проходит час-другой, и вот
У Харитонья в переулке
Возок пред домом у ворот
Остановился…»
