Например: 2*2=4, но где эта информация физически записана во Вселенной? Это свойство элементарных частиц или что?

Во Вселенной эта информация записана миллиарды раз в школьных тетрадях по математике. Именно этот материальный физический носитель является самым распространенным носителем этой информации во Вселенной.

Вероятно да, - это свойство элементарных частиц. Но частицы - это электромагнитные вихри. Значит - это свойство электромагнетизма. Но электромагнетизм - это упругая энергия пространства. Значит - это свойство, или даже следствие электрической упругости пространства.

Электрическая упругость пространства - настолько тривиальная (простая) вещь, что, наверное, снимает все вопросы и мистические позывы.

Если вдруг тебе доведётся встретится с инопланетянами, чтобы объяснить им, что ты не животное а человек разумный, сразу рисуй теорему Пифагора. Это закон одинаков для пространства вселенной. Тогда есть шанс остаться в живых. Если, конечно, инопланетяне будут из нашей вселенной, а не из параллельной или искривлённой и у них законы пространства не такие.
А символы (2+2=4) относительны. Можно записать и в двоичном, а не в десятеричном коде и всё равно будет справедливо поскольку два пальца они и в Африке два пальца. Главное понимание происходящего, что два пальца на одной руке хорошо, а четыре лучше (поговорка оператора циркулярной пилы).

математика нигде во вселенной не записана, мы её создали что бы систематизировать понимание вселенной. проще говоря мы придумали что символ двойки равен двум единицам чего либо, во вселенной это никак не отмечено

Это два раза по два раза в сумме. Почему у нас 1 плюс 1 2 а не 3, потому что такая вселенная уже была, но разрушилась. Наша вселенная одна из бесконечных попыток с помощью перестановок создать мир.

В проверке 4-2=2

любопытное наблюдение.))
Однако идти нужно от обратного
2*2=10 только для человеческих приматов так как у нас 10 пальцев на руках.
Больше 10 мы не можем посчитать с помощью своего тела.
От того и родилась десятичная система.
Например у дельфинов 2 плавника и создай они десятичную систему исчисления, то
10 у низ шло бы после двух Один (это левый плавник) Два (это правый) Десять это следующие число после наибольшего простого. Так что для дельфина 2*2 было бы 21 (Дважды по десять и единица). Математические законы описываем мы приматы для своего удобства, во вселенной эта информация не записывается, как например сила притяжения, либо масса и плотность вещества.
Это мы люди открываем математические законы и записываем, и считаем так как нам удобно, понятно и для нас объективно.