Вопрос о математических пространствах. Проверьте, пожалуйста, правильно ли я понимаю суть математических пространств.

Правильно понимаете. Только эти пространства, это математические абстракции, которые порой не имеют никакого отношения к геометрии и к геометрическим пространствам.

Например, когда Вы решаете задачу на собственные функции и собственные значения какого-нибудь оператора, то Вы получаете в качестве решения такой набор функций, что множество всех линейных комбинаций этих собственных функций образуют пространство. Совсем не обязательно, что у оператора только три собственные функции. Бывают такие операторы, у которых собственных функций бесконечно много. Тогда получается бесконечно-мерное пространство.

Типичный пример такого пространства мы получаем, например, если находим собственные функции оператора импульса (оператор трансляций) на конечном отрезке. Собственными функциями будут синусы и косинусы с целым числом полупериодов, укладывающихся на этом отрезке. Любую непрерывную (хорошую) функцию, заданную на этом отрезке можно разложить в бесконечный ряд по этим собственным векторам. Это будет разложение в ряд Фурье. Эти функции ведут себя как бесконечномерные вектора. Например, каждую функцию можно записать через бесконечный набор её координат в базисе синусов и косинусов. Этими координатами будут коэффициенты Фурье-разложения. При сложении двух функций мы можем просто попарно сложить их координаты. Можно определить и скалярное произведение двух функций, это интеграл от их произведения на отрезке. Используя векторное представление этих непрерывных функций, мы можем посчитать их скалярное произведение через их координаты. Кстати, скалярное произведение разных синусов и косинусов, у которых укладывается целое число полупериодов на отрезке, равно нулю. То есть когда функции на отрезке разлагаются в бесконечный ряд Фурье, то они разлагаются по ортогональному базису.

Вот это пример того, как, например, на практике используются бесконечномерные пространства.

Правильно понимаете.
С векторами размерности 4 и больше обращаются точно так же, как с 2-х и с 3-х -мерными векторами: все действия расписываются по координатам, а дальше всё равно, сколько координат.

"Понятно, что геометрически это невозможно"
Геометрически это вполне возможно. Так же, как переход от двумерного пространства - плоскости - к трехмерному - объему, легко представить и добавление еще одного измерения, а потом и еще одного.. . Конечно, сами геометрические фигуры в четырехмерном пространстве представить себе не так легко. Но, как мы рисуем на плоскости трехмерные фигуры, можно спроектировать четырехмерную фигуру в трехмерное пространство, а потом и получившуюся трехмерную фигуру нарисовать на плоскости.. . Можно, впрочем, сделать и трехмерные модели, я делал из спичек и пластилина объемные модели проекций четырехмерных кубов - тессерактов. Существует геометрия многомерных пространств, и даже их начертательная геометрия.. .
Но практически чаще всего используются просто точки в многомерном пространстве, наглядно представляющие собой функции нескольких переменных. А отрезок, соединяющий такую точку от начала координат или между двумя точками - многомерный вектор. Впрочем, часто используются и простые многомерные фигуры, напримерн, часть методов оптимизации геометрически представляет собой перекатывание в многомерном пространстве многомерного симплекса (многомерного аналога тетраэдра) .
Приведу анимированную модель проекции вращающегося тессеракта:

Все правильно. Больше того, бывают бесконечномерные пространства (гильбертовы) , они во многом похожи на привычные. Это пространства функций, имеют громадное прикладное значение.

n-мерный вектор понимают просто, как набор координат, а не отрезок со стрелкой на конце!