Через год после смерти Петра, Брюс уходит в отставку в чине генерала-фельдмаршала. Вместе с женой Маргаритой фон Мантейфель он спешно покидает столицу, переезжает в Москву и 24 апреля 1727 года покупает у князя Долгорукова сельцо Глинково, расположенное в 42 верстах от Москвы.
Обустроив имение Глинки, Брюс оборудовал там обсерваторию и, отойдя от государственных дел, всецело посвятил себя любимому занятию, — науке.
Научные исследования и изобретения графа, его нелюдимость и замкнутость в последние годы жизни, порождали любопытство и суеверный страх у окрестных жителей, начали рассказывать, что откуда-то из заморских краёв привезли Брюсу дракона, но однажды Яков рассердился на него и превратил в камень. Действительно в парке графской усадьбы Глинки стояла каменная скульптура мифического существа покрытого чешуёй, но, к сожалению, сегодня следы дракона, как и многих других скульптур из графской усадьбы найти не удалось, — в 30-е годы они были разрушены, а материалы использовали для строительства плотины.
О его пребывании в Глинках ходила масса легенд.
В Глинках Яков Брюс прожил около десяти лет
