Решите систему уравнений любым способом

Все гораздо проще. Принцип решения аналогичных уравнений взят из справочника Бронштейна. Решение осуществляется методом подстановки: Пусть X = t*Y.
Подстановка в 1 уравнение: X/Y=t
Подстановка во 2 уравнение: Y=X/t
Подставлять можно относительно любой переменной - главное уйти от произведения X*Y. Например решаем относительно X. Подстановка в 1 уравнение дает уравнение:
X^2 = 10*t / (1+(t^2))
Подстановка во 2 уравнение дает уравнение:
X^2 = 2,5*(t^3) / (1+(t^2))
Приравнивая части и сокращая получаем:
2,5*(t^2) = 10
Отсюда t^2 = 4 или t = 2.
t = -2 не удовлетворяет, т. к решение будет в виде комплексных чисел. Подставляем t в любое преобразованное уравнение:
X^2 = 10*2 / (1+(2^2)) = 20 / 5 = 4
Отсюда
X1 = 2 и X2 = -2
Y1 = 1 и Y2 = -1
Проверка показывает правильность решения.