Посоветуйте что мне делать...

если дом ранее принадлежал отцу, и брат не писал отказа от наследства, то по закону брату положена такая же доля, как и вам, после смерти брата наследуют его имущество его дети. Если брат вообще не заявлял о принятии наследства вовремя, то через суд он должен был восстановить срок вступления в наследство, если этого не было сделано, то скорее всего детям брата ничего не перепадет. Если брат писал отказ, то у него нет доли в доме. Лучше сходить к юристу (нотариусу) , чтобы разобраться в наследном деле, может быть несколько нюансов.

Каким образом вами было оформлено наследство отца аж через 7 лет после его смерти? Срок принятия был давно пропущен

Наследство Вы оформили по закону. А брат где был когда Вы оформляли наследство. Он же умер в 2003 году т. е. два года спустя после смерти отца. Он тоже должен был участвовать в делении наследства.

Вот этот вопрос не дает возможности посоветовать Вм что либо дельное.

От души своей черной скажу только одно - если не жалеете ничего отдавать ничего не отдавайте а желаете так отдавайте.
Лично я бы не отдал

если дети брата через суд восстановят право наследования, то вам придется половину дома отдать
но если вы хорошо подготовитесь к суду
и докажете что брат намеренно не принимал наследства, то и детям его ничего не положено