Найдите первые интегралы следующих систем ОДУ (здесь метод матриц неадекватен).

Когда коэффициенты в системе переменные, или система вообще нелинейная (как у вас), тут нужно анализировать, играть с ней. В данном случае все решается простыми приемами.
a)
x' = (t - y) / (y - x)
y' = (x - t) / (y - x)
Давайте сложим уравнения:
x' + y' = (x - y) / (y - x)
или:
(x + y)' = - 1
Обозначим:
x + y = A
тогда:
A' = - 1
А теперь вычтем исходные уравнения:
x' - y' = (2 t - x - y) / (y - x)
или:
(x - y)' = (2 t - [x + y]) / (y - x)
Обозначим:
x - y = B
тогда:
B' = (A - 2 t) / B
Переходим к системе:
A' = - 1
B B' = A - 2 t
Ее общее решение:
A = C1 - t
B = (+/-) sqrt(C2 + 2 C1 t - 3 t^2 )
Получаем алгебраическую систему уравнений для искомых функций:
x + y = C1 - t
x - y = (+/-) sqrt(C2 + 2 C1 t - 3 t^2 )
b)
x' = 1 - (1 / y)
y' = 1 / (x - t)
Заменим:
x - t = z
Перейдем к системе для z, y:
z' = - 1 / y
y' = 1 / z
Делим одно уравнение на другое:
dz / dy = - z / y
Разделяем переменные:
dz / z = - dy / y
Интегрируем:
ln(z) + ln(y) =A
или:
y z = B
Выразим z:
z = B / y
и подставим в уравнение:
y' = y / B
Разделяем переменные:
dy / y = dt / B
Интегрируем:
ln(y) = C + (t / B)
Выражаем y:
y = D exp(t / B)
Подставляем в выражение для z:
z = (B / D) exp(- t / B)
И возвращаемся к x:
x = t + (B / D) exp( - t / B)