Что делать в случае, когда наследство (дом) не оформлен?

Отказ от наследства может быть абсолютный (вообще), и может быть в пользу др. наследников.
Но отказ- безусловный, никто никому никаких денег не должен за отказ.
Если кто-то из наследников заинтересован в доме, а др. - нет, но при этом от наследства не собираются отказываться, то делается по другому.
Все наследники принимают наследство- все имущество, входящее в наследств. массу.
Получают свидетельство о праве на наследство и после этого могут заключить соглашение наследников о разделе наследства.
Например наследуют три сына - дом, мельницу и кота в сапогах, все это - в равных долях, потом заключают соглашение о разделе наследств. имущества, первому- дом, второму- мельницу, а третьему- кота.
При соглашении о разделе наследств. имущества можно от принципов равенства отойти, тут все по соглашению.
Или, если там нет дост. кол-ва имущества в наследств. массе, чтобы раздел произвести, тогда все принять, зарегить право собственности, потом один брат у двух других своих-братьев- сособственников купит их доли по договору купли-продажи.
Никто в здравом уме не сует друг другу деньги без договора (соглашения),
без свидетельства о праве на наследство (праве собственности),
и вообще при ваших обстоятельствах, когда даже неизвестно, входит ли дом в наследственную массу.
В наследственную массу входит имущество, принадлежащее на правах собственности наследодателю на дату открытия наследства (дата его смерти).
Право собственности на недвижимость подлежит регистрации.
Т. е права обственности матери должны быть зарегены в установленном законом порядке, должен быть правоустанавливающий документ. С 98 года права регятся в Росреестре.
До этого- в уполном. органах исполнит. власти по месту расположения недвижимости.
Это мог быть и БТИ, и мунипалитет.
Если ваша мать жила давно в этом доме, из этого не следует, что она собственник и дом входит в наследственную массу.
Она вполне могла проживать и в муниципальном доме на услових договора соцнайма.
В последнем случае дом в наследств. массу не входит, ибо матери на правах собственности не принадлежал.
Вы пишите в комменте, что "дом сами строили".
Наверное был выделен зем. участок для строит. дома, построили дом и нужно было его оформить в установл. порядке. Ищите в доме матери доки по предоставлению зем. участка и по дому. Дом должен был стоять на техучете ранее, и теперь на кадастровом учете. зареген в собственность матери, или кто там строил....
Уведомления по оплате зем. налога смотрите внимательно- вы упоминаете о них, что там написано- в собств. участок или нет?
На дом мог налог на имущество матери не приходить в последнее время, потому что она пенсионерка например и льгота по этому налогу у пенсионеров, но за ранние периоды могли сохраниться уведомления о налоге.
Просить выписку из ЕГРН (Росреестр) о зарегенных правх собственности н дом и участок.
За период до 98 года- в БТИ или муниципалитете просить выписки.
В зависимости от полученных результатов- доков, будет понятно, что и как делать дальше.
Но заявление нотариусу о принятии наследства наследникам подать нужно в течение 6 мес с даты смерти матери.
Доками по имуществу. входящ. в наследств. массу можно потом месяцами и годами заниматься.
Но если право матери не зарегено на дом, и придется регить право в упрощ. порядке, то ограничение до 1 марта 18 года, когда можно дом регить только с правоустанавливающим доком на земельный участок (без разрешения на ввод объекта в эксплуатацию и разрешения на строительство)
http://azbuka.consultant.ru/cons_doc_PBI_200135/

Если дом не оформлен и умершая в нем только проживала- не факт что он входит в наследственную массу

написать отказ от наследства у нотариуса.