крестный папа моего ребенка

Стал? или собственно и был ?
Вероятно по чисто русской безрассудной привычке Вы сами не обращали внимания на требования к крестному, когда пригласили его быть крестным - воцерковленность , знание православной веры, благочестивая жизнь, добрый пример итд. наверное тогда показалось чем-то маловажным....поскорей окрестили ну и слава Богу...
А это важные требования к кандидату в крестные.

Крестного выбирают сами родители, кому они доверят быть так сказать вторым отцом для своего ребенка. Если сами не серьезно подошли к такому выбору то это только Ваша вина.

Как отразится на жизни ребенка?
Каждый ответит сам за себя. В каком то сакральном смысле никак не отразится.
Отразится только тем, что у него по всей видимости просто больше нет крестного, - право родителей понять свою ошибку в выборе, и отказаться от помощи непутевого крестного в воспитании своего чада, никто не отнимал.

Вы вправе не позволить крестному быть для своего чада наставником в вере, если он сам не живет по вере, пребывает в блуде пьянстве или каких либо пороках, если отрекся от Бога, или проповедует какую-то чуждую для православия веру.

Если он покается и станет жить по христиански, то смотрите сами.

Как быть? Вот вам совет :
Крещение совершается только однажды и суть крещения вовсе не в крестном а в христианской жизни. Вот и воспитывайте своих детей в православной вере. Учите Закону Божиему и сами учитесь.
А за бывшего крестного молитесь чтобы Господь направил его к покаянию.