почитал про релятивисткую массу, встал вопрос, как она работает с фотонами света?

Фотон не обладает массой.

Сомневаюсь, что бесконечно большой)

При разгоне тела до скорости света, оно постепенно начинает разворачиваться в свет. Это требует очень много энергии, больше, чем при простом слиянии или делении ядер. Но эта энергия (и масса) на скорости света не бесконечна, а равна массе полученного пучка света

если масса равна нулю этого нет... свет имеет импульс, а то что имеет импульс обязано иметь массу (вес), ибо импульс не может создать то чего нет, да и вообще теория относительности создана для абсолютно пустого пространства, где нет никакой среды нахождения. Т. е. математически она верна, но верна она потому, что "работает" только в абсолютной пустоте. Поэтому параллельно с этой теорией, чтобы она более ли менее казалась правдоподобной, из научных дисциплин пытаются исключить среду нахождения процесса. Из физики среду движения электромагнитных волн, т. е. пытаются Вас убедить, что волны моря возможны без среды их движения - самого моря, или например из биологии убрать внешнюю среду как фактор эволюции... Но стоит внести среду нахождения процесса, так все формулы сразу рассыпаются. Именно поэтому с 1961 года на Венеру было послано 45 спутников, 20 из которых пропали без вести, а 20 получили гравитационный разгон, потому что по формулам то вроде как все было верно, а на практике не учитывали среду, заполняющую все пространство - эфир.

Аналогично.
... если заключишь фотон в ящик с идеальными зеркалами и будешь разгонять.
Масса и есть фотоны "в идеальной коробочке".

Да никак она не работает ни с чем, так как её реально нет. Она возникла чисто на бумаге. Там взяли вторую производную от Лагранжиана и часть членов получили близкими к нулю при малых скоростях, а один член нет и он напоминал по виду второй закон Ньютона. Поэтому чисто на бумаге выделили ускорение, а остальные обозначения записали за массой. Теперь разобрались и больше такую ошибку больше не делают. Формулу используют целиком, а масса не меняется.

Масса от скорости не зависит. Поэтому нет никакой релятивисткой массы. Фотон приобретает массу только при взаимодействии.

при v = c масса равна нулю