Дети от первых двух браков мужа и наша совместно приобретенная однокомнатная квартира.

Здравствуйте. У моего супруга до меня было два брака и в каждом браке по одному ребенку, в одном из браков ребенок имеет инвалидность. У всех есть своё жильё, и не одно. Супруг им всё оставил. На всякий случай напишу чтобы не было негатива - я никого не разводила, они разбежались за долго до нашего с ним знакомства.
И сейчас мы собрались покупать с супругом наше единственное жилье, однокомнатную квартиру или дом. В случае если супруга не станет, дети от его первого и второго брака будут однозначно претендовать на наше небольшое жильё. Каким образом будет делиться однокомнатная квартира на нас всех? Я переживаю что на старость лет не смогу спокойно жить в этой однокомнатной квартире, ведь в ней не только я буду хозяйкой. Супруг отмахивается от этой темы, говорит что никто не будет мешать жить. Но ведь всякое бывает, случаев полно разных, тем более что дети мне не родные. Вот я и переживаю и не знаю как быть.