За что можно лишить отцовства отца, но не мужа?

Не отцовства лишить, а родительских прав. Отцовства лишить нельзя, отцовство можно только оспорить.
Основания для лишения РП в ст 69 СК РФ
Статья 69. Лишение родительских прав
Родители (один из них) могут быть лишены родительских прав, если они:
уклоняются от выполнения обязанностей родителей, в том числе при злостном уклонении от уплаты алиментов;
отказываются без уважительных причин взять своего ребенка из родильного дома (отделения) либо из иного лечебного учреждения, воспитательного учреждения, учреждения социальной защиты населения или из аналогичных организаций;
(в ред. Федерального закона от 24.04.2008 N 49-ФЗ)
(см. текст в предыдущей редакции)
злоупотребляют своими родительскими правами;
жестоко обращаются с детьми, в том числе осуществляют физическое или психическое насилие над ними, покушаются на их половую неприкосновенность;
являются больными хроническим алкоголизмом или наркоманией;
совершили умышленное преступление против жизни или здоровья своих детей либо против жизни или здоровья супруга.
Последствия и порядок лишения РП смотрите в ст 70-72 СК РФ
Лишение РП не снимает обязанностей по содержанию ребенка (алиментных) .

Оспаривание отцовства - другая процедура. Если отцовство оспорить хотите, то читайте тут
Статья 52. Оспаривание отцовства (материнства)
1. Запись родителей в книге записей рождений, произведенная в соответствии с пунктами 1 и 2 статьи 51 настоящего Кодекса, может быть оспорена только в судебном порядке по требованию лица, записанного в качестве отца или матери ребенка, либо лица, фактически являющегося отцом или матерью ребенка, а также самого ребенка по достижении им совершеннолетия, опекуна (попечителя) ребенка, опекуна родителя, признанного судом недееспособным.
2. Требование лица, записанного отцом ребенка на основании пункта 2 статьи 51 настоящего Кодекса, об оспаривании отцовства не может быть удовлетворено, если в момент записи этому лицу было известно, что оно фактически не является отцом ребенка.
3. Супруг, давший в порядке, установленном законом, согласие в письменной форме на применение метода искусственного оплодотворения или на имплантацию эмбриона, не вправе при оспаривании отцовства ссылаться на эти обстоятельства.
Супруги, давшие согласие на имплантацию эмбриона другой женщине, а также суррогатная мать (часть вторая пункта 4 статьи 51 настоящего Кодекса) не вправе при оспаривании материнства и отцовства после совершения записи родителей в книге записей рождений ссылаться на эти обстоятельства.

Неважно, муж он вам или нет. Тут фигурируют отношения "родители-дети", а не супружеские. Смотрите тут
Статья 53. Права и обязанности детей, родившихся от лиц, не состоящих в браке между собой
При установлении отцовства в порядке, предусмотренном статьями 48 - 50 настоящего Кодекса, дети имеют такие же права и обязанности по отношению к родителям и их родственникам, какие имеют дети, родившиеся от лиц, состоящих в браке между собой.

Семейный кодекс РФ ст. 69-Лишение родительских прав, ст. 70-Порядок лишения родительских прав, ст. 71-Последствия лишения родительских прав. Прочтите эти статьи. /семейный кодекс можете найти в интернете/

Основания для лишения родительских прав указаны в ст. 69 Семейного Кодекса РФ.
Обращаю Ваше внимание, что лишение родительских прав производится только в судебном порядке.
Удачи!

Если он не виделся с ребенком более трех лет и не платил алименты (если у него на руках нед доказательств оплаты)

Можно лишить родительских прав-не общается с ребенком, не платит алименты и т. п. А оспорить отцовство-это другая песня.

если не принимает участия в воспитании ребенка и в принципе не интересуется им, также важно участие отца в финансовой стороне вопроса воспитания
но! отца никто не лишит отцовства, если в суде выясниться, что Вы чинили препятствия общению отца с ребенком