как люди смогли измерить массу протона

Массу протона измеряли, да и сейчас измеряют по его взаимодействию со средой в электрическом и магнитном полях в специальных камерах.
Методы определения масс элементарных частиц:
1.Метод времени пролета -- определение скорости частицы
2.Метод инвариантных масс
3.Метод многократного измерения ионизационных потерь
4.Переходное излучение
5.Черенковское излучение
Описание каждого метода можно найти в Вике, Гугле и др.

Массу нейтрона, вообще говоря, никто никода не измерял.
В физике никто никогда не измерял и многое другое.
Например, скорость света в вакууме (в космическом пространстве я имею ввиду) тоже никто не измерял.
Реально измеряли лишь скорость света на Земле и в разных средах (в том числе и в "безвоздушном" пространстве) .
Правда, пытались измерять скорость света и высоко в горах. Но результат оказался таким же в пределах погрешности измерений.
Аналогичную ситуацию мы имеем и c измерениями заряда электрона.
Ведь в опыте Милликена реально измеряется изменение заряда конденсатора, а не сам заряд электрона.
И кто сказал, например, что один и тот же электрон не может принимать значения заряда кратные одному заряду. Например - 2е, 3е и т. д.
Такого, разумеется, никто никогда не наблюдал (а может просто не заметили?) .
Но отсюда вовсе не следует, что такого не может быть.
Кроме этого - если бы такое и наблюдали, то наверняка решили бы, что это не электрон, и дали такому "электрону" другое название.
То есть, физики считают, что это невозможно.
И правильно считают.
Аналогичную ситуацию мы имеем и с нейтроном.
Обнаружил нейтрон Джеймс Чедвик в 1932 году.
Но нейтрон не оставляет следов ни в камере Вильсона, ни на фотоэмульсионных пленках.
Поэтому "измеряли" не сам нейтрон, и лишь результаты того, что он успел "натворить".
Нейтроны, например, выбивают протоны из парафина.
А уже протоны - как результат этого воздействия можно наблюдать, и делать косвенные выводы (И. Кюри и Ф. Жолио 1932).
Масса нейтрона, как Вы знаете, равна 1838,6 массы электрона (при нормальных условиях) . Время жизни около 900 секунд (при н. у) .
В полностью конденсированном состоянии масса нейтрона будет несколько меньше
(1838.0) и 0.6 - это тот "дефект массы", который обеспечивается текущими условиями существования нейтрона (так называемыми -"нормальными условиями").
"Время жизни" нейтрона тоже должно существенно зависеть от температуры, и 900 секунд - далеко не предел.
По моим представлениям нейтрон состоит из 919 фотонов (919 * 2 = 1838), находящихся в плотно упакованном состоянии (в виде "фотонного тора").
При нормальных условиях, как я уже сказал, "время жизни" нейтрона около 900 секунд.
Далее один фотон освобождается и нейтрон распадается на положительно заряженный протон и электрон.
То есть, протон - это нейтрон без фотона, с маленьким "довеском" в виде позитрона, слабо связанного с ядром протона (энергия связи 0.1* с^2)
В результате этого масса протона оказывается равной 918 * 2 + 0.1 = 1836,1.
То есть, протон состоит из 918 фотонов с дефектом массы 0.1 (при н. у)

Следует заметить, что связь позитрона с нейтральным ядром в протоне достаточно слабая (0.1 с^2), и протон, при благоприятных условиях, может достаточно легко потерять свой позитрон, и снова превратиться в нейтрон.
Но несложно заметить, что аналогичный результат мы получим и в случае приобретения протоном электрона.
И в первом, и во втором случае мы получаем нейтроны, но эти нейтроны будут иметь разную массу (1836 и 1838).
Сейчас принято считать второй вариант более предпочтительным.
Поэтому в современной физике любят говорить о "рождении" частиц из энергии.
Разумеется, это преувеличение.
Но каждый художник и физик имеет такое право.