Отказаться можете.
Грозит тем, что вы можете остаться без жилья на многие годы. Суды у нас небыстры и не обеспечивают жильем. Все равно придется ждать квартиры от ведомства. Представляете на сколько времени растянется процесс, если квартиры в желаемом городе не строятся?
Совет-берите где дают, либо ГЖС. Будете иметь собственность-сможете продать и купить где хотите.
Вспомните, что еще недавно можно было просить жилье либо откуда призвался, либо где закончил службу (кроме некоторых городов типа столиц) . И законодатели хотят вернуть эту норму.
Но если у вас есть недвижимость, оформленная на родню, то можете ходить по судам и дождаться вышеуказанных изменений в законе.