Не могу решить математическое уравнение

Функции x и y складываются между собой и со своими производными, и эти суммы дают в итоге ноль. Поэтому тут напрашивается экспонента.
1) Ищите решение в виде:
x = a exp(kx)
y = b exp(kx)
Подставляйте в таком виде в систему, и сможете найти k, a и b.
2) Вы найдете два разных k. Для каждого из значений k найдете свои a и b (определенные с точностью до общего множителя, т. к. система однородна)
То есть в итоге вы получите два независимых решения:
x1 = a1 exp(k1 t)
y1 = b1 exp(k1 t)
и
x2 = a2 exp(k2 t)
y2 = b2 exp(k2 t)
Тогда общее решение будет иметь вид:
x = C1 x1 + C2 x2
y = C1 x1 + C2 y2
3) Для нахождения C1 и C2 потребуйте выполнения доп. условий (получите системку 2 на 2 для C1, C2).

ну-у, надо найти собственные значения матрицы
1 3
-1 5
если подумать, это 2 и 4

затем найти собственные векторы, соответствующие этим собственным значениям, (3 1) и (1 1)

затем выписать решение:
(x y) = с1 (3 1) exp(2t) + с2 (1 1) exp(4t)

в общем, так как-то.

Я знаю что ты видишь, смотря в книгу)

нет вопроса нет ответа.. тут мы тебе не решалы