Как быть в такой ситуации(наверняка было у многих)см.внутри

Встречаюсь с мужчиной 4 месяца,встречаемся на второй его квартире,и фактически живём как пара.У меня есть ребёнок 4-х лет от бывшего мужа.И вот эта ситуация меня сильно беспокоит:жить втроём мужчина категорически не хочет,объясняя тем,что "наелся"житьём и бытом раньше,а я не представляю,как мне быть,ведь не могу же я разорваться между ребёнком и им.Понимаю,что многие могут сказать,что ребёнок и лишь ребёнок свет в окошке,долой мужиков и т.д....но!вопрос в другом:мной просто играют,используют...или???