С чего начать изучать высшую математику?

"Ведь ВМ строится не на чём-то одном" - по большому счёту, на двух.
Алгебра и анализ. Просто из начального курса алгебры стараются выпилить все вопросы, связаннные со сходимостью, а в начальном курсе матана стараются минимизировать использование высшей алгебры.
А чуть позже алгебра и анализ клево сливаются в экстазе....

А геометрию, пусть даже школьную, желательно помнить для понимания. Ну и не забивать на всякие разделы геометрии, изучаемые после школы.

Найди книгу Тарасова, Курс высшей математики для техникумов. Там очень неплохо, на вполне доступном уровне, изложены начала анализа, дифференциальное исчисление, интегралы, ряды и аналитическая геометрия. В 70-х, когда я учился в физматшколе, мы начинали 9 класс с этого учебника

высшая математика = алгебра и матанализ = матанализ

матанализ в середине 20 века признан заведомо ошибочным инструментом, не подлежащим реанимации

Смирнов В. И. Курс высшей математики в 5-ти томах. Задачник Демидовича.

В университете изучается линейная алгебра: учебник Ильина, Позняка, задачник Проскурякова. Аналитическая геометрия тоже по учебнику Ильина, Позняка. И математический анализ по учебнику Ильина, Позняка, задачник Демидовича. Решают задачи Демидовича, там есть краткие справочные сведения. Дифференциальные уравнения по учебнику Степанова. Уравнения математической физики по учебнику Бицадзе.
Попробуйте начать с математического анализа. Для поверхностных, криволинейных и кратных интегралов понадобится аналитическая геометрия. Матрицы в математическом анализе требуются при рассмотрении функций нескольких переменных. Комплексные числа. Численные методы и дискретная математика понадобятся если будете заниматься программированием. Многое зависит от того, чем хотите заниматься, то есть для чего вам это нужно..

МАТАНАЛИЗ И ЛИНЕЙНАЯ АЛГЕБРА

Найти хорошего преподавателя или репетитора.

Открой программу любого ВУЗа где есть этот предмет и посмотри с чего там начинают. Вроде с матанализа, но я могу ошибаться.

Вообще высшая математика начинается с изучения матриц.