пожалуйста помогите решить уравнение.

Насколько я понял, надо найти неизвестные коэффициенты, если нам известен определитель.
Берем отсюда http://mathprofi.ru/kak_vychislit_opredelitel.html формулу нахождения определителя
И расписываем по ней. (Определитель то нам уже дан) .

2x*5*x + x*x*1 + 4*1*3x - x*5*3x - 2x*1*1 - 4*x*x = 2
(После умножения и приведения подобных членов, получаем)
-8x^2 + 10x = 2
-8x^2 + 10x - 2 = 0 (Решаете как обычное квадратное уравнение)
D = 10^2 - 4*(-8)*(-2) = 100 - 64 = 36
x1 = (-10 + 6)/ -16 = 1/4
x2 = (-10 - 6)/ -16 = 1
------------
Подставлять в матрицу и проверять, чесгря лень )
P.S. Проверил с x = 1 все сходиться.