Спасибо всем за ответы. В общем я все так и думал поступить как вы мне посоветовали. Но детей своих я люблю больше.

А ее-то Вы любите? Если да, то сердце подскажет, как быть. Если нет - отличный предлог для развода. Только никого не слушайте. И ничего не бойтесь.