В Латвии сначала красные латышские стрелки ушли большевиков охранять, потом не вернулись. Потом лесных братьев до середины 50-х отстреливали , а те, кто сотрудничал с нацистами сами сбежали на Запад, когда запахло керосином и подошла Красная Армия. Эти и вернулись на историческую Родину только когда поняли , что им за это в современной Латвии ничего не будет - они ж были борцами за независимость. Ну а детишки их ассимилировались в ФРГ,США и тд и на историческую родину не торопятся.
Ну а кого из лесных братьев взяли живыми - в Сибирь отправили снег убирать.
Аналогичные причины и в других Прибалтийских странах.
Что касается Росии, Белоруссии и Украины - это в первую очередь убытие мужского населения в ходе Отечественной Войны и последующих локальных конфликтов.