помогите с высшей математикой. разложите вектор b по системе векторов b=(5,3) ,a1=(1,4), a3=(3,5)

Можно решить как обычную систему уравнений, вида
x1+3x2=5
4x1+5x2=3
тогда
x1=-16/7
x2=17/7
Соответственно вектор b=-17/7a1+16/7a2
Проверим, подставив, в уравнения:
-16/7+3*(17/7)=-16/7+51/7=35/7=5
4*(-16/7)+5*(17/7)=-64/7+85/7=21/7=3

Можно по методу Крамера.
Координаты векторов которые образуют базис (в нашем случае а1 и а3) надо записать как определитель (первый вектор - первый столбец, второй вектор - во второй столбец)
|1 3|
|4 5|
и координаты вектора b тоже запишем в столбец
|5|
|3|
который так и называется - вектор столбец. (это не модули, такими прямыми черточками обозначается определитель)
Вычислим определитель системы, 1*5-3*4=5-12=-7

x1 находится по формуле определитель1/определитель системы
что бы найти определитель1 просто подставляем вместо первого столбца, координаты вектора b, получим
|5 3|
|3 5|
Вычислим этот определитель (умножим числа стоящие на главной диагонали и вычтем из них числа на побочной диагонали) 5*5-3*3=25-9=16
То есть x1=16/-7 то есть -16/7

Аналогично с x2 = определитель2/определитель системы
Теперь мы подствляем вектор столбец с координатами вектора b ВО ВТОРОЙ СТОЛБЕЦ главного определителя, получим
|1 5|
|4 3|
Вычислим определитель 1*3-5*4=3-20=-17
Таким образом x2 = -17/-7 = 17/7

Можно решить систему по методу Гаусса.
Для этого запишем в одну матрицу, совместно и матрицу коэффициентов и вектор столбец (такая матрица как раз и называется, совместная система) .
|1 3 5|
|4 5 3|
Приведем матрицу к нижнему треугольному виду (что бы ниже главной диагонали стояли нули)
Это можно сделать путем элементарных операций с матрицами. Умножением какого-либо ряда на число и прибавлением его к другому ряду.

Умножим первую строку на -4 и прибавим ко второй строке
получим
|1 3 5|
|0-7-17|
Все, ниже главной диагонали нули, матрица приведена к треугольному виду (верхний треугольный вид был бы если бы ВЫШЕ главной диагонали были нули)
Перепишем систему
x1+3x2=5
-7x2=-17
получим, что x2=-17/-7=17/7
и тогда x1=-16/7

Можно решить матричным методом. Но он довольно громоздкий и тут его записывать неудобно.

Вот, мне очень помог этот сайт http://www.mathprofi.ru/deistviya_s_matricami.html
и я всем его советую. Это уникальный сайт, созданный по настоящему талантливым преподавателем и посвященный как раз высшей математике в ВУЗах.