Нужна помощь! Как лишить родительских прав?

Здравствуйте! В 2006 году между мной и N был заключен брак, в котором и родился сын. После рождения сына N нас бросил и год спустя я подала на развод, но на алименты я подавать не стала, так как с N мы договорились устно, что он нам всячески будет помогать и выплачивать помощь. С тех пор прошло уже три года, но ни самого N, ни его помощи мы с сыном так и не увидели, хотя жилось нам очень туго. Я звонила ему и просила нам помочь пока сама дома с ребенком сидела, все равно ничего... Недавно решила подать на алименты, чтобы его можно было лешить отцовства, так как ребенок считает своим отцом другого человека и тот человек хочет его усыновить. У меня, кроме номера телефона нет никаких данных на гр-на N. Я ему звоню, дабы ввести его в курс дела и слышу от него ответ следующего плана: "Ты хочешь войны? Ты ее получишь. Я буду выплачивать тебе алиментов по 300 рублей в масяц как безработный, но сына буду забирать на все выходные". Надо сказать, что N действительно безработный, но у него свое ООО, которое якобы не приновсит дохода и каждый раз он сдает нулевые деклорации в налоговую. При этом у него машина, он снимает квартиру и имеет не плохой доход (по словам знакомых). Сын его вообще не знает и я очень переживаю, что однажды N появиться и может травмировать психику ребенка. Дайте пожалуйства совет, как можно лишить отцовства гр-на N в кратчайшие сроки. Является ли тот факт, что он никак не учавствовал в жизни ребенка на протяжении 4 лет, причиной лишения отцовства?