Кто из его родственников может претендовать на его прописку в неприватизированной квартире

Так приватизируйте наконец. Станете собственниками долей, сможете долями распоряжаться: подарить, продать с соблюдением ст. 250 ГК РФ, передать по наследству.
Если в муниципалке 6 челов и одни умрет, то будете изменение в договоре соцнйм- будет 5 челов.
вселение в эту муниципал. квартиру возможно с согласия нанимателя и всех членов семьи нанимателя. если вселяетс супруг, родитель, дети совершеннолетние, а если иные лица, то еще и согласие наймодателя требуется.
Так по ст. 70 ЖК РФ .http://www.consultant.ru/document/cons_doc_LAW_51057/88e1e877f85c7bd52ce68d90802f1c5aaa4c726e/
Отсюда ответ на ваш вопрос:
Если брат матери умрет в муниципал. квартире, то вселение его жены и его детей возможно только с согласия нанимателя, всех членов семьи нанимателя, наймодателя (муниципалитет). Ну и поскольку дураков среди нанимателя и членов его осемьи нет, и они согласия не дадут, то и беспокоиться не о чем.
А если приватизируете и брат матери- собственник 1/6 доли умрет, то эту долю могут принять в собственност ьпо наследству его наследники по завещанию или по закону, ну, и как собственники смогут вселиться. вам назло. А можно культурно раздел имущества между, наследниками,
или купить потом кому-то из сособственников у наследника -собственника его долю, воспользовавшись преимуществ. првом выкупа по ст. 250 ГК РФ.
----------
про "прописку" забудьте.
Есть регистрация по месту жительства или месту пребывания- это администртивный акт и следствие вселения, и обязанность.
Первично вселение, законные основания для вселения.
Если нет законных оснований для вселения- не зарегиться в жилом помещении.

Нет никакой прописки (уже 25 лет). А есть регистрация.
Если кто помирает в муниципальной квартире, то его хоронят - то есть, он освобождает жизненное пространство для прежних жильцов.
Но, это никак не повод, что бы кто-то из его родственников (без согласия муниципалитета и проживающих в квартире) автоматически занял бы его место (в квартире, ебстественно, а не в гробу).

Просто для сведения: когда в мир иной отправится последний из оставшихся, то муниципальная квартира будет потеряна для всех родственников-наследников. Муниципалитет (как собственник этой квартиры) распорядится ей по своему усмотрению.

кто угодно с согласия иных зарегистрированных в квартире

Что значит-претендовать на прописку? Если человек умирает, его просто выписывают.

Без согласия нанимателей он может зарегистрировать только своих несовершеннолетних детей

А с каких соображений могут пожелать зарегистрироваться там? Можете и не разрешать регистрацию.