стоит ли сохранять семью, которой пока ещё нет

Здравствуйте!! ! Познакомилась на работе с парнем ему 25 лет мне 23 года. Это можно сказать любовь с первого взгляда. В первый же вечер мы были друг от друга без ума. всё ночь не спали смеялись шутили ( близости не было) . так и закрутились наши отношения, но через неделю я узнала что он в браке и у нех есть сын. спросила почему мне ни чего не сказал, он сказал что боялся меня потерять. а потом и рассказал про свою семью " женился рано в 20 лет 2 года было всё хорошо но потом с женой у них как год все рушится нет не любви не понимания только деньги ей нужны. Я слушала всё это и понимала что на чужом несчастье счастье не построешь, но на тот момент любовь скружила голову. так в тайне мы с ним провстречались пол года и через пол года он разводится, я отговаривала его, давала время ему подумать, но он настоивал на всоём. что не может больше так жить сил уже нет. одни упрёки.
он развёлся да и жена его не охотно шла на примерения, мне даже показалось что она и рада.
где то через месяца 3 мы стали жить в месте, мы с ним были на седьмом небе от счастья, с родителями познакомились только хорошие вмечатления от всех. уже начали строить дом, но... .
в один момент как то все рухноло мы стали друг друга бесить, исчезло его внимание ко мне всё было не как пол года назад, нет помощи в делах, он ни чего не делал по дому, сидел только в интернети и играл в игры. правда он работал с утра до вечера, но я ведь тоже работаю и ещё кушать готовлю и стираю и убираюсь, я ведь тоже хочу чтобы он мнетоже помогал. начинаю ему говорить он злится. стало полное непонимания. я стала собирать вещи что бы уйти от него, ведь всё так не должно продолжаться, но он меня даже и не собирался останавливать. и тут я себя поймала на мысль, может жена его тоже очень сильно любила, и ей тоже не хватало всего этого что и мне, она тоже хотела женского счастья. просто устала нести на спине ещё одно ребёнка вот и не возрожала разводу.
я уже передумала все, но он правда неодыкватный похож на кокого то психа и очень сильно делает нервы.
в итоге я ни куда не ушла, но и отношения лучше не стали всё ещё хуже, видно по нём что любовь проподает а я не знаю как быть. ведь я его очень сильно люблю и хочу всё сохранить, но не знаю как. мы оба не знаем как нам быть понимаем что всё рушится а сделать ни чего не можем . но и так я тоже дальше не могу. помогите советом.... спасибо.