Нужно найти проекцию точки на прямую в 3D и нужно найти любые точки на линии, концы которой известны.

По второй задаче: элементарно. Используем уравнение прямой, заданной в явном виде:
P = U + V*t,
где точки P и U принадлежат прямой, V - ветор направления, а t - произвольный скалярный коэффициент.

Пусть известны две точки на прямой A и B. Зададим уравнение прямой в явном виде
P = U + V*t,
U = A,
V = B - A = (B.X - A.X, B.Y - A.Y)
Тогда
при t = 0 P = A,
при t = 1 P = B.
Найдём расстояние L между A и B, как корень квадратный из скалярного произведения V на самого себя (чисто по Пифу, корень квадратный из суммы квадратов) .
L = √(V * V) = √((B.X - A.X)² + (B.Y - A.Y)²).
Пусть X - заданное расстояние от A.
Тогда параметр t в уравнении прямой будет равен
t = X / L
Всё. Подставляем в первую формулу, плывём в экстазе.

Первая задача.

Плоскость задаётся двумя числами: N и d, где N - нормаль к плоскости, d - расстояние от плоскости до начала координат.

Задаём прямую в явном виде P = U + Vt, переход аналогичен второй задаче: U = A, V = B - A.
Пусть P - точка в пространстве, проекцию которой мы хотим найти.
Полагая, что P принадлежит плоскости с нормалью V, найдём эту плоскость:
L = √(V * V) = √((B.X - A.X)² + (B.Y - A.Y)² + (B.Z - A.Z)²) -- длина V
N = V / L = (B.X - A.X, B.Y - A.Y, B.Z - A.Z) / L - нормализованный V
d = -(P * V) = (-P.X * V.X, -P.Y * V.Y, -P.Z * V.Z)
Теперь просто найдём пересечение прямой и поскости:
t = (d + (U * N)) / (V * N) - скалярное произведение развернёте сами
P = U + V*t - вернулись к тому, с чего начали.

Всё. Формула сугубо аналитическая, в ней нет никаких проверок и условий, за что мне вечная благодарность, а вам - пожелание удачи.