Найти точку, симметричную точке A(3;5;2)относительно плоскости, проходящей через точки B(4;0;0) C(0;2;0) D(0;1;2)

BC = (-4;2;0)
BD = (-4;1;2)

Найдём нормаль к указанной плоскости (вектор перпендикулярный данным). В этом нам поможет векторное умножение BC x BD

i j k
-4 2 0
-4 1 2

i*(4 - 0) - j*(-8 - 0) + k*(-4 + 8) = 4i + 8j + 4k = (4;8;4)

тогда перпендикуляр, опущенный к плоскости и проходящий через точку A будет задан равенством
(x - 3)/4 = (y - 5)/8 = (z - 2)/4 ИЛИ
(x - 3) = (y - 5)/2 = (z - 2)

Теперь нужно найти точку, в которой этот перпендикуляр пересекает плоскость. Для этого завершим восстановление уравнения плоскости
4x + 8y + 4z + K = 0 // что бы найти K подставим вместо неизвестных координаты точки B
4*4 + 8*0 + 4*0 + K = 0
K = -16
4x + 8y + 4z - 16 = 0 ИЛИ
x + 2y + z - 4 = 0

Теперь найти точку пересечения не составит труда, выразив y и z через x из уравнения вектора, и подставив их в уравнение плоскости:
y = 2x - 6 + 5 = 2x - 1
z = x - 3 + 2 = x - 1

x + 2(2x - 1) + (x - 1) - 4 = 0
x + 4x - 2 + x - 1 - 4 = 6x - 7 = 0
x = 7/6
y = 4/3
z = 1/6

для удобства введём точку O = (7/6; 4/3; 1/6)

симметричной точка будет тогда, когда будет лежать на том же расстоянии от точки O, что и точка A, только с другой стороны (со знаком минус)

M = (7/6 - (3 - 7/6); 4/3 - (5 - 4/3); 1/6 - (2 - 1/6)) = (-2/3; -7/3; -5;3)

Это координаты искомой точки. Может можно было и проще решить, но это первое, что в голову пришло.

В сети, кстати, сложно проверить результат решения таких задач, но надеюсь нигде не ошибся (по крайней мере плоскость и перпендикуляр к ней восстановил правильно, это проверить удалось :) )

Пусть A'(x, y, z) - образ A, A'' - середина AA'.
Тогда AA' ортогонален CB и DC, а векторы 2BA'', CB, DB линейно зависимы, т. е.
4*(3 - x) - 2(5 - y) = 0,
1*(5 - y) - 2(2 - z) = 0,
det ({{(3 + x) - 8, y + 5, z + 2}, { -4, 2, 0}, {-4, 1, 2}}) = 0

, откуда A' = (-2/3; -7/3; -5/3).

Чтоб проверить в сети, копируем вот эти три строчки через запятую в Вольфрам:
4*(3 - x) - 2(5 - y) = 0,
1*(5 - y) - 2(2 - z) = 0,
det ({{(3 + x) - 8, y + 5, z + 2}, { -4, 2, 0}, {-4, 1, 2}}) = 0

Ну а уж правильно или нет вы составили СЛАУ - это на вашей совести.
PS. BA'' я умножил на 2, потому что мне лениво было двойку тащить для вычисления координат середины AA'. Я ее сразу сократил на хрен.

Почитайте тут
http://www.cleverstudents.ru/line_and_plane/line_passes_through_point_perpendicular_to_plane.html
Найдете уравнение прямой, а дальше проще. Самому возиться неохота.