Совместна ли система, если определитель её матрицы равен нулю???

Всяко может быть. Может оказаться совместной, а может - несовместной. По теореме Кронекера-Капелли, для совместности системы необходимо и достаточно, чтобы ранг ее главной матрицы был равен рангу ее расширенной матрицы. Определитель главной матрицы сам по себе критерием совместности не является.