После присоединения Крыма к России царское правительство щедро жаловало земли своим героям. Романтик-генерал называл свою дачу «Замок любви», другое ее название «Генералиф». В то время Ласточкино гнездо выглядело совсем иначе, это было деревянное одноэтажное строение. Именно таким его изображали на своих полотнах известные художники-маринисты Айвазовский, Лагорио и Боголюбов. На открытке (1901г.) с картины Лагорио дача представляет собой разрушающееся здание почти без кровли, с полуразвалившейся верандой
Вторым хозяином дачи стал придворный врач и гласный земства А. К. Тобин. Он передал владение по наследству своей молодой красавице жене, а та продала его в 1903 году московской купчихе Рахманиной. В это время возникло и закрепилось за домиком на скале название «Ласточкино гнездо».
Следующим владельцем становится крупный немецкий нефтепромышленник барон Рудольф фон Штенгель. Ему-то мы и обязаны уникальности этого создания и, конечно талантливому зодчему А. В. Шервуду, сыну знаменитого архитектора В. О. Шервуда, проектировщика здания Исторического музея на Красной площади. Барон пожелал оставить в Крыму память о рыцарских замках средневековья — на месте деревянной дачи в 1912 году был построен миниатюрный замок, словно перенесенный на побережье Черного моря с берегов Рейна.
В начале первой мировой войны барон фон Штенгель предусмотрительно продал строение и спешно отбыл в Германию. Новому владельцу купцу Шелапутину, замок, переоборудованный под ресторан, особых доходов не принес, а вскоре и вообще был национализирован новой властью, как и его дача «Жемчужина». Во времена Советской власти правительство открыло в ней санаторий для комсостава Московского военного округа, в Ласточкином гнезде устроили столовую.
