помогите решить систему

* - это у вас степень? Общепринято знаком * обозначать умножение, ^ степень.

Система 2). у=17-х, прямо подставляем во 2-е уравнение:

x^2+(17-x)^2=169, x^2-17x+60=0, x1=5, x2=12.

Система 1). прибавим удвоенное 1-е уравнение ко 2-му, получим: (x+y)^2=49^2.
вычтем удвоенное 1-е уравнение из 2-го, получим: (x-y)^2=31^2.

Значит, х+у= +- 49, х-у= +- 31. Осталось рассмотреть 4 варианта.