В квартире прописаны я и мама. Был еще брат, но он умер. Имеют ли право на эту квартиру бывшая жена брата и его сын?

При чем прописка? квартира муниципальная? Тогда у них нет прав для вселения. В собственности (приватизированная, ЖСК, по наследству, по договору дарения) ? Тогда кто собственник квартиры или доли? Отцу хотя бы доля принадлежала? Тогда сын брата тоже наследник первой очереди Бывшая жена не наследует. А брат чей - Ваш или мамин? Наследники первой очереди - дети, родители, супруг наследодателя

Совершенно непонятно - кто является собственником квартиры. Если умерший брат, то его сын является наследником по закону первой очереди. Бывшая жена в круг таких наследников не входит

Если квартира куплена или приватизирована, то его доля делится между наследниками-между его мамой и сыном. Если же квартира муниципальная, то ничего делить не придется.

В чей собственности квартира? Муниципальная или приватизированная?
Если приватизированная, то регистрация в ней не даёт права на собственность.

Ели ваш брат имел долю в квартире или квартира полностью принадлежало брату, то есть была в его собственности, то наследником по закону являются дети супруг и родители наследодателя, В вашем случае е сын брата и мама. Но если квартира муниципальная или находится в собственности только вашей мамы и ваш брат не имел ни какой собственности в данном жилом помещении, то ни какого наследства тут нет.

если в квартире была доля умершего брата (например 1\3 после приватизации) , то эта доля является наследством
и на нее претендует ваша мама и сын брата

Это зависит о того, в чьей собственности находится квартира. Если она вошла в наследственное имущество и имеет место наследование по закону (в отсутствии завещания) , то сын брата имеет право наряду с наследниками первой очереди-родители, дети, супруги (бывшие не в счет).. .
Если жилье муниципальное-то оно так и остается в собственности муниципалитета. А все зарегистрированные-так и остаются нанимателями...

Его сын по суду, как наследник, если квартира на всех

Сын у него является наследником, значит имеет право.