Как мне дальше жить? Очень больно и плохо

Пишу о себе. Стала встречаться с мужчиной, он ушел из семьи ( жена запилила). Мы работали вместе, до того как он ушел проработали 1,5 года, стали лучшими друзьями, с ним было легко, мы даже похожи внешне были. На работе все нас принимали за мужа и жену. Но были до его ухода оба в браках, потому была просто дружба и общение. Я тогда никаких надежд не давала, даже за руку не разрешала взять себя. Где то в глубине души он мне нравился и я в какой то мере завидовала его жене.
В общем после его ухода из семьи, я как друг много раз пыталась его туда вернуть, он ужасно сопротивлялся. А потом я просто поняла что хочу быть с ним. Жена пыталась его вернуть. Он развёлся. Я тоже развелась с мужем ( мы тогда не жили вместе). Он ушёл из семьи не из за меня, тогда на работе были трудности с деньгами и жена его опять начала пилить. я поверила что он ушёл совсем. Жена просила отвезти их с дочкой то купаться, то в магазин, он соглашался. Я хотела уйти, поняла что он метался. Он при мне по громкой связи поговорил с женой, все оборвал, сказал что никуда возить не будет, а когда я хотела выйти из машины, заблокировал дверь. Я уверена что и после этого он их никуда не возил.
Он вернулся к жене. Утром ушел к маме собрать вещи чтобы переехать ко мне, у мамы была жена с ребенком. Через 3 часа после ухода позвонил сказать что всё. Никаких предпосылок не было, мы не ругались, все было хорошо. Между нами отношения всегда были хорошие, да были трудности, но все как то сглаживалось. Прошло 3 дня, очень тяжело, не могу ни о чем думать, никак не могу понять за что, почему он так со мной?
Теперь жена нам вместе работать не даст наверняка, будет ходить пасти его и увидев меня устраивать скандалы.
Скажите взглядом со стороны, я была его любовницей, взяла чужое?