Как решить систему уравнений с двумя неизвестными с высокими степенями?

Единого способа нет, в основном применяется комбинация методов таких как сложение и вычитание одного уравнения из другого с умножением уравнений на коэффициенты.
Этим способом решается 1 система, где надо 1 уравнение домножить на 2 и вычесть из второго, в результате получится квадратное уравнение с 1 неизвестным: 5y^2+10y-15=0
3 система решается разложением 2-го уравнения на множители: -2y(x-1)=0
y=0 или x=1 и подстановка этих значений в 1 уравнение
Второй метод - это метод замены переменных, который сводится выделение одинаковых частей частей в обоих уравнениях
Третий метод для систем - выделение с помощью формул сокращенного умножения полных квадратов, кубов и т. д
Для линейных уравнений существует метод Крамера

яркий пример, когда что-то учат, но применить на практике не могут...

{ xy + 3y^2 - x + 4y - 7 = 0
{ 2xy + y^2 - 2x - 2y + 1 = 0
Постепенно приравнивай коэффициенты, вычитай или складывай уравнения и получай новые уравнения:
{ xy + 3y^2 - x + 4y - 7 = 0 ---> (*) на 2 ---> { 2xy + 6y^2 - 2x + 8y = 14
{ 2xy + y^2 - 2x - 2y + 1 = 0 ---------------------> { 2xy + y^2 - 2x - 2y = -1
вычесть второе ур-ние из первого (избавимся от ху):
{ 5y^2 + 10y = 15 или { y^2 + 2y = 3 <----первое уравнение
=>
{ xy + 3y^2 - x + 4y - 7 = 0 ----------------------> { xy + 3y^2 - x + 4y = 7
{ 2xy + y^2 - 2x - 2y + 1 = 0 ----> (*) на 3 ---> { 6xy + 3y^2 - 6x - 6y = - 3
вычесть первое ур-ние из второго (избавимся от y^2):
{ 5xy - 5x - 10y = - 10 или { xy - x - 2y = -2 <--- второе уравнение
=>
{ xy + 3y^2 - x + 4y - 7 = 0 ---------------------> { xy + 3y^2 - x + 4y = 7
{ 2xy + y^2 - 2x - 2y + 1 = 0 ----> (*) на 2 ---> { 4xy + 2y^2 - 4x - 4y = - 2
=> сложить уравнения (избавимся от у):
{ 5xy + 5y^2 - 5x = 5 или { xy + y^2 - x = 1 <--- третье уравнение
=> получили новую систему 3-x уравнений:
{ y^2 + 2y = 3
{ xy - x - 2y = -2 -----> { xy - x = 2y - 2
{ xy - x + y^2 = 1 -----> { xy - x = 1 - y^2
=>
2y - 2 = 1 - y^2 или y^2 - 2y - 3 = 0 ----> y1 = -1; y2 = 3
y1 = -1 ----> { xy - x = 1 - y^2 или { x*(y - 1) = 1 - y^2 ----->
x1 = (1 - (-1)^2)\(-1 - 1) = 0
y2 = 3 -----> { xy - x = 1 - y^2 или { x*(y - 1) = 1 - y^2 ----->
x2 = (1 - 3^2)\(3 - 1) = (-8)\2 = -4
Аналогично решаются и остальные.

Сначала избавиться от квадратов (вынося за скобку (в первой системе - это ,,у")). Потóм вывести формулу или для ,,х" или для ,,у" (что больше нравится) в любом (в первом, например) из уравнений. После этого, подставить эту формулу в другое уравнение. Вот. Дальше тоже писать?