Висшая математика. Метод Гауса.

Преобразованием строк нужно привести матрицу к ступенчатому виду. Можно умножать строку на число, добавлять к строке другую, умноженную на число, менять местами столбцы (кроме столбца правой части)
1 1 -2 | 6
2 3 -7 | 16
5 2 1 | 16
Первой строкой обнулим значаеня, стоящие в первом столбце во второй и третьей строках
1 1 -2 | 6
0 1 -3 | 4
0 -3 11 | -14
К третьей строке добавим вторую, умноженную на 3
1 1 -2 | 6
0 1 -3 | 4
0 0 2 | -2
разделим третью строку на 2
1 1 -2 | 6
0 1 -3 | 4
0 0 1 | -1
вычтем из второй строки третью, умноженную на 3
1 1 0 | 4
0 1 0 | 1
0 0 1 | -1
вычтем из первой строки вторую
1 0 0 | 3
0 1 0 | 1
0 0 1 | -1
Таким образом, мы привели систему к виду
x=3
y=1
z=-1
Метод будет работать, если определитель систмы не равен нулю, в противном случае придется искать общее решение однородной системы. Делается это примерно так же. (пример)

google метод гаусса, википедия - метод гаусса. там все расписано хорошо. да и книжку открой любую по алгебре