при каких обстоятельствах отец может забрать ребенка у матери?

Мы уже давно с отцом ребенка не живем. В браке не состоим. Но ребенок носит отцовскую фамилию ( признанное отцовство) . У нас отношения неблагоприятные с ним и со свекровью. Я не хочу чтоб они общались с сыном. У отца ребенка посещают мысли забрать у меня сына. Хотя он нашел себе другую и живет не в нашем городе. Я не наркоманка, не алкоголичка. Ребенок чист, одет, накормлен. Я педагог по образованию я его развиваю по возрасту. ОН может забрать у меня сына по суду? у него сложные обстоятельства он не может помогать сыну, на алименты я не подавала.