Я хочу найти точку М' симметричную точке М относительно прямой, но не совсем понимаю первый пункт, объясните, пожалуйста

Направляющий вектор прямой имеет направление прямой. Нормаль плоскости перпендикулярна плоскости.

смотрите, прям по учебнику линейной алгебры
по определению скалярное произведение двух векторов равно a * b = |a| * |b| * cos(α), где α - угол между векторами (а запись типа |a| обозначает длину вектора a)
однако каждый вектор можно разложить на сумму базисных векторов
(ax*i + ay*j + az*k) * (bx*i + by*j + bz*k) =
= ax*bx*i*i + ax*by*i*j + ax*bz*i*k + ay*bx*j*i + ay*by*j*j + ay*bz*j*k + az*bx*k*i + az*by*k*j + az*bz*k*k

эту запись разумеется можно сократить, так как i, j и k - взаимноперпендикулярны, а значит скалярное произведение любых двух разных равно 0, а любых двух одинаковых равно 1, отсюда
(ax*i + ay*j + az*k) * (bx*i + by*j + bz*k) = ax*bx + ay*by + az*bz

итак, у нас есть некая прямая, и мы к этой прямой хотим найти перпендикулярную плоскость. Для этого мы определяем направляющий вектор (если надо пояснение как, пишите). допустим это вектор (m, n, p). А теперь найдём такой вектор (x, y, z), который был бы перпендикулярен ему (то есть скалярное произведение которых было бы равно нулю):
m*x + n*y + p*z = 0

ничего не напоминает? - правильно, это уравнение плоскости, каждый вектор которой перпендикулярен исходному направляющему вектору. Осталось её только сместить так, чтобы точка M лежала на этой плоскости:
m*x + n*y + p*z + d = 0
m*Mx + n*My + p*Mz + d = 0 // Mx, My, Mz - координаты точки M
Из этого уравнения можем найти d и получить полное уравнение плоскости, перпендикулярной к данной прямой, и проходящей через точку M.

Ну а дальше уже совсем просто: находим точку пересечения этой плоскости и исходной прямой, назовём её O, и отражаем точку M относительно точки O.

Уравнение плоскости будет:
mx+ny+pz+D=0
Подставляешь координаты т. М и находишь D.