почему если во время экзамена, если у кого нибудь заметят телефон, то баллы у всех участников просто аннулируются?

Это бред.
В соответствии с Порядком проведения ЕГЭ во время экзамена участники ЕГЭ не вправе общаться друг с другом, свободно перемещаться по аудитории и пункту проведения ЕГЭ, пользоваться электронно-вычислительной техникой и справочными материалами (за исключением дополнительных устройств и материалов, пользование которыми разрешено на ЕГЭ по отдельным общеобразовательным предметам, их перечень утверждается Рособрмадзором по каждому общеобразовательному предмету) .
Уполномоченный представитель ГЭК (ФЭК) информирует участников ЕГЭ, организаторов, ассистентов и общественных наблюдателей о необходимости обязательной сдачи до начала проведения экзамена мобильных телефонов, иных средств связи, электронно-вычисли-тельной техники на время проведения ЕГЭ. В пункте проведения ЕГЭ должна быть обеспечена сохранность сданных мобильных телефонов и иных средств связи.
При обнаружении во время проведения ЕГЭ у участников телефонов и иных средств связи организаторы или уполномоченные
представители ГЭК (ФЭК) удаляют экзаменующихся из пункта про-ведения ЕГЭ. В этом случае организаторы или уполномоченные представители ГЭК (ФЭК) составляют акт об удалении указанных лиц из пункта проведения ЕГЭ. Организаторы совместно с уполномоченным представителем ГЭК составляют акт об удалении участника ЕГЭ с экзамена.
После проведения экзамена акт об удалении участника ЕГЭ с экзамена передается в ГЭК для проведения проверки по факту удаления участника ЕГЭ с экзамена и принятия решения о возможном допуске участника ЕГЭ к переэкзаменовке.

Это где Вам таких сказок рассказали? Просто выведут участника с телефоном за дверь. На деле - могут и проигнорировать. В том году (по общению с надзорными педагогами) знаю, что лояльно относились даже к откровенным щелчкам фотокамер телефонов. Кто хотел списать - тот списал. Это если речь у нас о ЕГЭ.

аннулируются только у того, кто с телефоном был