Как решить выражение ((x^2)-2x-4)*((x^2)-2x-3)=2?

x^2 - 2x - 4 = y

(x^2 - 2x - 4)(x^2 - 2x - 3) = y*(y+1)
y*(y+1) = 2
y^2 + y - 2 = 0
y₁ = 1
y₂ = -2

x^2 - 2x - 4 = 1
x^2 - 2x - 5 = 0
D = 4 + 20 = 24
x = (2 ± √24)/2 = 1 ± √6

x^2 - 2x - 4 = -2
x^2 - 2x - 2 = 0
D = 4 + 8 = 12
x = (2 ± √12)/2 = 1 ± √3

Во-первых, это уравнение. Во-вторых, решается оно посредством введения новой переменной, присваивайте ей трехчлен x²-2*x-3 и решайте уже обычное квадратное уравнение, найдя значения введённой переменной, дальше решая, опять, же, квадратное уравнение, находите уже решения исходного уравнения

Если в лоб, то раскрыть скобки, получить уравнение на полином 4й степени, воспользоваться (довольно громоздкими) формулами для нулей полинома 4й степени.

Если по-хитрому, то:
1) обозначить y=x^2-2*x-4
2) получить уравнение y*(y+1)=2
3) решить квадратное уравнение относительно y
4) решить два квадратных уравнения относительно x (подставляя два возможных значения y) - получится потенциально до 4 разных ответов (в действительных числах). В комплексных числах будет строго 4 ответа. =)

Я обычно делаю замену тому, что повторяется: t = x^2 - 2x.
На ответ это никак не повлияет.