Что является объектом изучения математики? Математика изучает несуществующие вещи, артефакты мышления?

Судя по великолепному совпадению чисто математических моделей физики - с наблюдаемыми и опытными данными, математика содержит нечто гораздо более значимое, нежели "всего лишь" отражение субъективного мышления.

Объектом изучения математики являются отношения между элементами множеств. А существуют эти элементы в реальности или нет - математики не касается.
В глубине математики лежит аксиома: существуют элементы множеств и их можно сопоставлять. Остальное - надстройка над этой аксиомой.

Математика формализует логические рассуждения. Арифметика, геометрия, диференциальное исчесление приобретают некоторый, когда математики предельно формализовали вычисления, создав набор аксиом. От гуманитарных наук математика отличается тем, что однажды доказанная теорема перемсотру не подлежит. Даже если меняется мода, меняются политические и религиозные пристрастия, математические теоремы оказываются незыблимы. В чем польза от такого формализма? Дык все же работает, начиная от теоремы Пифагора, когда формулу на практиуе применишь.

математика - это основа, с помощью которой изучают всё остальное.

Именно так. Изучает продукты человеческого мышления. Потому и является гуманитарной наукой.

ИМХО

математика изучает правила.

что будет если взять такой-то набор правил и начать его обрабатывать эдаким-то набором правил.

исходно отталкивалась от интуитивно нащупанных закономеростей воспринимаемого мира.
сейчас больше занята сама в себе, но выдает много полезного для тех, кто сопоставляет эти правила с воспринимаемым миром.

Точнее абстракции, которые дальше можно прицепить ко всему остальному :-)

Такие вещи как множество и теорема Пифагора в реальном мире не существуют. Но можно построить математическую модель реального объекта, отражающую только нужные нам свойства, и изучать её методами математики.