Правильо ли я поступаю, или я просто слабачка?

Мы встречались с мужчиной чуть больше года, он тянулся ко мне, радовался когда мы были вместе, но как только наши отошения становились еще доверительнее, он закрывался в себе, исчезал, избегал. Как только я принимала решение порвать, он тут как тут, и опять все хорошо. Потом он все-таки признался, что не может забыть свою бывшую жену (с которой развелся за полтора года до встречи со мной), что ждет ее возвращения, что иногда она приходит, переспит с ним, он надееется, что вот она вернулась, а утром она делает вид что ничего не произошло и опять все также. Я приняла решение расстаться, но он пришел через две недели, сказал, что не может без меня, так мы и воландались еще полгода. Пока я не сказала твердое "Нет!"... А через две недели я узала, что беременна (это было не специально, мы предохранялись) У него детей в браке не было, у меня тоже, это наш первый ребенок, желанный и у меня и у него (мы не молоды уже). Когда я объявила о беременности, его первая фраза была: " Вот теперь мы с тобой точно родственики и всегда будем общаться". А потом он сказал: я уже не хочу, чтобы верулась моя жена, я понял, что все закончилось, но я хочу жить один. Это не связано с тобой и ты не виновата в этом, просто я не должен жить с кем-то. И сейчас у нас такие отошения: он почти каждый день приезжает, гладит живот, мы ездим гулять, по городу ходим, он меня в рестораны водит, на работе рассказал, что он будет папой, родителям пока только собирается, а с моими позакомился уже, очень переживал и хотел понравится. Ну что еще: деньги дает каждый месяц, вроде как алименты, в принципе в сумме моей зарплаты, не как по закону. Ходим с ним вместе к врачам, по детским магазинам. В-общем, такая вот крепкая семья, а потом он просто уезжает домой. Многие называют это "гостевой брак", но я в гостях у него не была ни разу. Да и секса у нас больше не было. В-общем, вот такая "собака на сене", внешне мы пара, а на самом деле... И сейчас я не знаю как поступить: я понимаю, что он хочет этого ребека, и я хочу, чтобы у ребека был папа, как я могу запрещать им общаться. Но и не надеяться, что когда-то он захочет жить вместе, я не могу, от этого ожидания больно так, никак не совпадают его слова с тем, что он делает, и каждый раз мне хочется верить, что он передумает. И как поступить правильно, я не знаю...