т. е невозможно найти через обратную матрицу X=BA^(-1). Или существуют другие способы решения?
Само уравнение
решайте по Гауссу, потом смотрите.
то, что матрица вырождена, означает. что умножение переводит все пространство в некоторое полдпространство, напрмиер - проецирует на плоскость или прямую. если В лежит в этом подпространстве - решения будут, причем - множество, целое подпространство
кстати, где это вы учитесь, что у вас все вывернуто наизнанку?? ?
обычно Х и В - столбцы, система пишется как AX=B, X=(A^-1)B
Тут кстати можно непосредственно руками проследить 
добавляете в какую-нибудь ячейку малую величину, ну, типа 0.000001, решаете (решение получится) , видите -- где-то эта малая величина всплыла (например, выпало где-то 0.3333334333 или что-то в этом роде) , убираете эту "неоднородность". Если решение остаётся -- значит можно решить, если получается ерунда типа x=x -- значит нельзя..
⇢