Как быть? Люблю женатого, он меня тоже. Рассказал жене, что любит меня, она его прогнала. А он теперь обозлился на меня

Вместе мы почти год. Мне 24, ему 45, женат, сын взрослый, учится в инсте. Всё было здорово, замечательно, любим друг друга, нам весело, классно, видимся каждый день. Почти, т.к. в выходные ему было необходимо развлекать жену, у которой, якобы, специфическая болезнь и он помогает ей с ней справиться// А я не могу их видеть вместе, моё состояние доходит до истерики, и я ему сотню раз говорила об этом, просила разобраться, она или я... Он говорит "Не знаю. Тебя я люблю, а ее мне жалко".
2 дня назад у меня был ответственный день, он знал, что мне понадобится его совет (даже не конкретная помощь!), а он поехал на "пикник" с ней и оставил телефон дома! Под предлогом "забыл" - хотя 100% что б ее не расстраивать разговором со мной (она ничего не знала, но догадывалась). Вечером звонит, оправдывается, "я буду там-то, может увидимся". Отказалась. Но все же подъехала туда. Жду, когда выйдет. И что я вижу: к нему идет его благоверная. Меня тоже она увидела и кое-что поняла, конечно. Я решила дождаться их и наконец всё прояснить. Они идут, я набралась смелости: "Привет, а давайте я вас подвезу?!" Он сразу подошел ко мне: "Ну что, давай всё расскажем?" И рассказал. Он сказал ей, что не любит ее, любит меня. Она его прогнала. Сын тоже.
Казалось бы, всё, можно строить полноценные отношения, ни от кого не прятаться... НО! Он стал наезжать на меня, упрекать в том, что всё потерял, что ему негде жить теперь и требует, в отместку, чтобы я выгнала свою мать (мы живем вдвоем с мамой)! Я предлагала ему прийти к нам - ни в какую! Про аренду квартиры он даже не хочет слушать. Он заладил, что я его "кинула"... перестал общаться. Какое-то творится безумие. Я не знаю, что мне делать.