Как решить эту систему ?

Сначала вычтем из 1-го 2-е (действие описано у PonySlayer), и пока разберем случай, когда x ≠ y. Через (*) обозначим результат сокращения на (x-y), т. е. соотношение (x+y)(x² +y² +xy-1) = 9/8.
Снова вычтем из 1-го уравнения это (*), в котором обе части умножены на x - получится
0=x⁴+y²-xy³ -xy[x² +y² +xy-1] -x²[x² +y² +xy-1]= x²+y²-2xy³-2x³y-2x²y²+xy=
(x²+y²+xy)(1-2xy). Хотя в условии об этом не говорится, решаем в поле вещественных чисел ⇒ 2xy=1. Вставляем y=2/x в первое уравнение, получим x⁶-(9/8)x³ +1/8 =0. После замены t=x³ имеем
(t-1)(t-1/8)=0, что соответствует значениям x=1 и x=1/2. Итого в ситуации x ≠ y есть только 2 решения (1,1/2) и (1/2, 1). Но при x=y
оба уравнения системы превращаются в простецкое x²-(9/8)x=0 (что заметил PonySlayer), что соответствует x=y=0 и x=y=9/8.
Ответ { (1,1/2), (1/2,1), (0,0), (9/8, 9/8) }. That's all folks.

Вычтем ур. 2 из 1; (x ^ 4 - y ^ 4) - (x ^ 2 - y ^ 2) + xy * (x ^ 2 - y ^ 2) - 9/8 * (x-y)) = 0.

Разложим на множители (x-y): (x-y) * ((x + y) * (x ^ 2 + y ^ 2) - (x + y) + xy * (x + y) - 9/8) = 0

Один набор решений имеет x = y. Подставляя y = x в уравнение 1, x = 0 или 9/8.

Итак, два решения: (0, 0) и (9/8, 9/8).

Другой набор решений получается из (x + y) * (x ^ 2 + y ^ 2 + xy - 1) = 9/8. Это вместе с уравнением 1 или уравнением 2 может дать больше решений (конкретно 0,5 и 1; 1 и 0.5). Трудно понять, как их решить, но ясно, что если (x0, y0) является решением, то (y0, x0) также является решением. Также ясно, что если x >> y или y >> x, левая часть уравнений будет слишком далека от 0.
Я получал еще несколько ответов, но они погоды не сделают.