Муж против, чтобы я жила у мамы. Как быть?

Переехала к мужу в маленький городок, в паре часов езды от собственного дома. Чтобы не мотаться и не прокатывать деньги, оставалась у себя на всю рабочую неделю (по возможности конечно приезжала, чтобы приготовить свежую еду), а все выходные, праздники, отпуска и т. п. - с ним. Мне так было удобно: и маме помочь, и по любимому соскучиться успевала. Теперь он категорически против, требует, чтобы я все время была с ним. Навязывает своих родных, постоянно зовет их приехать на неделю. Сказал, что его мама может переехать насовсем. Я на нервах, не знаю как быть, потому что не представляю как буду растить ребенка не в своем доме, где я по сути никто (гражданская жена). Просто в жизни пришлось обжечься, вот и держусь за собственные силы и единственного близкого человека - маму.