Имеет ли право бывший супруг привести свою жену с ее ребенком в квартиру, где собственницей является бывшая жена?

Родители приватизировали квартиру в браке на маму. Потом отец ушел к другой женщине. точнее уехал в другой город в квартиру ее матери. Был суд по его выселению. Он апеллировал тем, что ему как бы негде жить. Суд присудил, что папа имеет право жить в нашей квартире по прописке. Прошло семь лет. Здесь он ни разу не появлялся. Так как ключи мы ему не дали. Он выписываться категорически отказывается и еще грозит тем, что может привести туда свою жену и ее ребенка или сдать свою площадь другим лицам. Квартира двухкомнатная. Прописаны всего там 6 человек. Включая двух несовершеннолетних. Младшей сестре 15 лет и моему сыну - 12. Можно ли как-то выписать по суду отца? Имеет ли срок давности данное дело? Можно ли подать в суд на выселение, если он в любом случае никак не добивался попытки входа в жилье, где был прописан? Мы хотим продавать квартиру просто и покупать новое жилье в другом городе, но папа нам этого делать не дает. В итоге мы вынуждены снимать жилье в другом городе, так как накопить или взять ипотеку на мизерную зп не получается. И с продажи он просит не 1/6, а 1/2 квартиры. И на эти деньги мы тоже ничего в итоге не возьмем. Как быть?
P.S. Хочется услышать мнение проф. юристов. Кто варился в этих темах. Или по крайней мере людей, кто был в подобной ситуации. Остальных прошу не давать глупых комментариев.