Кто разбирается в матрицах

начнем работать со второй строкой, возьмем перый элемент первой строки, и подбепем такой числовой коэфициент, чтобы при умножении на него этого элемента и сложении с первым элементом второй строки получался нуль, т. е.
7*к+3=0,
отсуда
к=-3/7
Тепрь преобразуем вторую строку так: прибавим к ней элементы первой строки, умноженые на наш коэфициент к=-3/7, т. е. (все по очереди)
3+7*(-3/7)=0
2+4*(-3/7)=2-12/7=14/7-12/7=2/7
3+(-1)*(-3/7)=3+3/7=21/7+3/7=24/7
3+13*(-3/7)=3-39/7=21/7-39/7=-18/7
Таким образом 2 строка примет вид:
0 2/7 24/7 -18/7
Для третье строки аналогично, т. е. определим новый коэффициент к
7*к+(-1)=0
к=1/7
Теперь сложим первую строку, умноженную на к, с третьей
-1+7*1/7=0
-5+4*1/7=-5+4/7=-35/7+4/7=-31/7
-2+(-1)*1/7=-2-1/7=-14/7-1/7=-15/7
-13+13*1/7=-13+13/7=-91/7+13/7=-78/7
Третья строка примет вид
0 -31/7 -15/7 -78/7
и матрица тогда имеет вид
7 4 -1 13
0 2/7 24/7 -18/7
0 -31/7 -15/7 -78/7
Аналогично продолжаем пока не получим ступенчатую... только теперь не обращаем внимания на первую строку и столбец.
Обычно все расчеты ведут в уме, показываем только последовательно матрицы.
Берем вторую строку, и второй элемент в ней 2/7. Вычисли к для третьей строки:
2/7*к-31/7=0
к=31/7*7/2=31/2
тогда элементы третьей строки (начиная со второго, т. к. первые уже нули и наши преобразования их не изменят)
-31/7+2/7*31/2=0
-15/7+24/7*31/2=51
-78/7+(-18/7)*31/2=-51
тогда третья строка примет вид
0 0 51 -51.
Ну и для этой матрицы все.
Окончательно имеем матрицу
7 4 -1 13
0 2/7 24/7 -18/7
0 0 51 -51.

Морфей тебе поможет)