Может ли бывший муж отобрать у меня детей?

Сложилась такая ситуация, что по суду дети решили сами остаться со мной, но сейчас муж грозится забрать детей у меня и отобрать дом (он у нас в долевом с ним участии). Я не пью, не курю, не гуляю, работаю и занимаюсь детьми - чего никогда не делал он и вспомнил о них последние года 2 (просто когда были женаты говорил что у него работа и ему некогда и при этом на работе до 2-3 ночи были пьянки и всегда пьяный приезжал домой-сейчас не пьет опомнился). Моя работа связана с частыми командировками, может ли он это как то использовать детям 17,5 и 14 лет, старший учится уже в институте. Мы продолжаем жить с бывшим мужем в одном доме, может когда я уезжаю нужно какой то документ составить что дети на его попечении остаются! Я не мужененавистница, не хочу ни драк ни разборок - только пытаюсь защититься от нападок и несправедливых обвинений. Очень прошу вашего совета. И спасибо всем, кто откликнентся.