Как измерили что у фотона нулевая масса? Или она просто настолько мала что можно принять за ноль?

У фотона масса ненулевая.
Формула для расчета массы фотона следующая:

M = (h*n)/(c^2),

где h - постоянная Планка, n - частота фотона, с - скорость света.

Вы неправильно поняли физику. Масса, понятие относительное. Масса объекта зависит от того, в какой системе отсчета находится наблюдатель. Формула для расчета массы движущегося объекта, через массу этого же тела в покоющейся системе отсчета, следующая

M = M0 / sqrt(1 - (v/c)^2),

где M0 - масса покоя, v - скорость тела, с - скорость света.

Отсюда видно, что если скорость тела равна скорости света (например, тело, это фотон) , то есть v = c, то в знаменателе получается ноль и мы имеем деление на ноль.

Но из первой формулы для массы фотона мы видим, что масса фотона не бесконечная, а равна конечному числу. Как это возможно? Это возможно только в одном случае, если масса покоя M0 фотона равна нулю.

Таким образом, масса реального фотона M, который летит со скоростью света, НИКОГДА НЕ РАВНА НУЛЮ.
А масса нереального фотона M0, который никуда не летит, который стоит на месте, всегда равна нулю. Но таких фотонов не существует. Существуют только реальные фотоны с реальными ненулевыми массами.

В XIX веке, в отличие от времён Эйнштейна и Ландау, если говорят просто "масса", то подразумевают массу покоя. Доказано ли экспериментально, что фотон имеет нулевую массу покоя? Если бы масса покоя фотона была не нулевой, то в квантовой электродинамике возникли бы проблемы.. .Кроме того, не было бы гарантировано сохранение заряда, которое выполняется благодаря нулевой массе покоя фотона. Что бы ни предсказывали теории, эти предсказания нужно проверять экспериментально. Скорее всего невозможно выполнить какой-то эксперимент, который докажет, что масса покоя фотона точно равна нулю. Лучшее, на что можно надеяться - это определение диапазона величины. Ненулевая масса покоя привела бы к нарушению закона обратных квадратов для электростатической силы Кулона. Электростатическая сила на очень большом расстоянии была бы слабее. Поведение статического магнитного поля тоже бы изменилось. Верхний предел массы покоя фотона можно определить по спутниковым измерениям магнитного поля планеты. По результатам спутника Charge Composition Explorer (1984г) с достаточно хорошей точностью установлено, что верхний предел равен
6 × 10 −16 eV

Путём измерения его скорости, которая оказалась независимой от системы отсчёта, что возможно лишь для частиц с нулевой массой.

при помощи эффекта комптона, импульс оказался равен тепловой энергии