Как решить (мет Гаусса) прямоугольную матрицу 3 на 5, если никак не выходит получить нули в нижнем уравнении??

Возьми топор и пореши ее на фиг! 8-Е~
Матрицу не решают! Ее преобразуют, находят ее ранг, определитель (для квадратной) и т. п.
Что тебе надо сделать с матрицей?
И вообще, если хочешь, чтобы тебе помогли, пиши условие задачи и свой вариант решения.
При правильном применении метод Гаусса не может не работать. Ты либо где-то совершаешь ошибку, либо неверно интерпретируешь результаты, либо и то, и другое одновременно.