Что делать если мы хотим жить вместе-но у него ощущение дискомфорта на моей территории ,а я не могу у него?

Т.е пока мы вместе нам хорошо и там и там-но оставаться одним морально тяжело так как он привык к своей квартире а я к своей.Вот и ходим друг к другу в гости-то у него то у меня.Я вчера ушла нв работу -он остался у меня дома-когда я вернулась он отдал мне ключ со словами-Я без тебя здесь находится не могу..Я тоже ощущаю чувство неловкости у него в квартире, и пересилить себя не могу..