Правда, что на небе мы можем видеть звезды, которые погасли миллионы лет назад? как такое может быть?

"Как и сама ты предсказала,
Лучом, дошедшим до земли,
Когда звезды уже не стало,
Твои стихи до нас дошли."
("Марине Цветаевой", Маршак)
Те звезды, которые мы видим нвооруженным глазом, довольно близко от Земли, поэтому ни о каких миллионах лет полета света от них к нам речь не идет, но звезды в других галактиках, которые мы видим только через мощные телескопы, так далеко, что пока свет мчался от них к нам миллионы лет, некоторые из них могли уже успеть погаснуть.

Это как с лаптем. Вы можете его надеть, хотя березы уже нет!

Отдельные звезды мы видим невооруженным глазом с запозданием не миллионы лет, а только тысячи, для самых крупных и мощных. Поэтому среди видимых глазом звёзд совсем немного уже померло (может быть, типа Бетельгейзе), в основном все существуют.
Галактики - да. К примеру, глазом можно увидеть галактику Андромеды, причем почти весь видимый свет создается молодыми яркими звездами, из которых вполне существенная часть может уже превратиться в черные дыры и нейтронные звезды за два миллиона лет, пока свет доходит до Земли.
В телескопы - другое дело, там можно увидеть галактики в миллиардах световых лет, со светом, идущим от давно сгоревших звёзд.

Свет движется с определенной скоростью

Чел физику не учил в школе никогда. Не знает видать ничего про скорость света.