Тяжело ли освоить теорию относительности Эйнштейна?

Лучше не подходить. На кухне или в столярке это точно не пригодится.

Надо хорошо знать высшую математику на уровне не менее 3-го курса университета.

К началу 20 века в физике оказалось накоплено большое количество экспериментальных данных, надёжность которых не вызывала сомнений, которые не удавалось истолковать с точки зрения существовавших представлений, что ставило физиков в тупик. В первую очередь это относилось к скорости света, которая оказалась не зависящей от того, с какой скоростью движется наблюдатель относительно источника света (абсурд, не правда ли?).
Эйнштейн нашёл истолкование этому феномену, но для этого ему пришлось ввести совсем уж шизофреничные постулаты - что и размеры предметов, и их масса, и само течение времени зависят от того, с какой скоростью движется наблюдатель... Получилась, однако, вполне стройная теория, полностью объяснившая все дотоле необъяснимые феномены и до сих пор, за сто с лишним лет, не встретившая ни одного экспериментального противоречия...
Речь идёт о скоростях, сравнимых со скоростью света - на обычных для нас скоростях классическая механика И. Ньютона вполне верна и теории Эйнштейна не противоречит.

Чиста филосовкий вапрос.
Почему вы носите усы? ☺

Смотря на каком уровне. На хорошем - общая теория относительности - нужно знание неэвклидовой геометрии и тензорного исчисления. Коротко - тяжело. Нужно математическое образование уровня окончания математического факультета университета. Эйнштейн как-то пошутил: "С тех пор как математики занялись теорией относительности, я сам перестал понимать ее."
Философия тут вообще не при чем. Это прикладная математика, не зависящая ни от идеализма, ни от материализма. Дважды два - четыре и тут и там. ОТО несравненно сложнее математически, но принцип тот же.
Что касается самого Эйнштейна, то он считал, что элегантность математических формулировок физических законов объясняется участием в их создании некоего космического сверхразума, после чего мир функционировал без его участия, как некая машина. Идеализм это или материализм, суди сам.

Всё очень просто!
Когда Лоренц был ещё маленьким, то он попал в один колхоз, где познакомился с Эйнштейном, который пас коров у местного придурка. И вот сидя на пригорке, они предавались размышлениями об устройстве Мира. И до того они размечтались, что кто-то из них выдумал теорию относительности. Мол де, если взять путь одной коровы, пасущейся на лугу и наложить его на пути других коровёнков, пасущихся тут же, то сколько раз эти пути могут пересечься за определённый промежуток времени? Всякие там формулы мы, естественно, опустим. Так вот, вышло у них не особенно привлекательно и даже совсем не так. Но пока никто это не может опровергнуть. Как будто так и есть!

Сразу же лучше отказаться от всяких философий - только помешают изучать СТО и ОТО

Для освоения СТО вам понадобится:
Аналитическая механика, дифференциальные уравнения (вариационное исчисление не будет лишним), линейная алгебра (особое внимание тензорам).
Для ОТО добавьте еще дифференциальную геометрию.

Теория относительности создана для абсолютно пустого пространства, где нет никакой среды нахождения. Т. е. математически она верна, но верна она потому, что "работает" только в абсолютной пустоте. Поэтому параллельно с этой теорией, чтобы она более ли менее казалась правдоподобной, из научных дисциплин пытаются исключить среду нахождения процесса. Из физики среду движения электромагнитных волн, т. е. пытаются Вас убедить, что волны моря возможны без среды их движения - самого моря... но в реальности мы знаем, что вокруг проводника не образуется каких то новых полей, но лишь преобразуется существующее всегда -магнитное поле земли в вихревое электромагнитное состояние.... или например из биологии пытаются убрать внешнюю среду как фактор эволюции... пытаются Вас убедить, что внешняя среда никак не влияет на формирование биологических объектов, но влияют какие то там "мутации", "дрейфы генов" и прочая не значительная лабуда.... Из химии делают попытку убрать элементы эфира X и Y, которые сам Д. И. Менделеев поместил в начало своей таблицы, подчеркнув тем самым факт того, что все элементы его таблицы являются модификациями этих двух первородных элементов эфира... Закон всемирного, так сказать тяготения, также "работает" только для абсолютной пустоты. Сила притяжения между двумя металлическими шарами на воздухе будет отличаться от силы притяжения этих же шаров помещенных в воду. Так как масса и вес это два разных названия одной и той же величины, то поместив шары в воду их масса, а значит и вес уменьшатся в три раза. Но стоит внести среду нахождения процесса, так все формулы сразу рассыпаются. Именно поэтому с 1961 года на Венеру было послано 45 спутников, 20 из которых пропали без вести, а 20 получили "гравитационный разгон", потому что по формулам де, вроде как все было верно, а на практике не учитывали среду, заполняющую все пространство - эфир.

Если не брыкаться и не примерять их обе взамен прежних одежд, то несложно.

Конечно тяжело.
... когда не понимаешь.
Но стоит понять, и всё становится проще простого.

Примерно как атеисту поверить в Бога