При каких значениях k система имеет ненулевое решение?

Система имеет ненулевые решения при ЛЮБЫХ значениях k.
В самом деле:

1) зададим х3=1, тогда получаем систему ДВУХ уравнений
для х1 и х2. Определитель матрицы левой части равен D=2+2k-k^2.
Если D=/= 0, то х1 и х2 единственным образом выражаются через х3.

2) Если D=0, то мы зададим х3=0, и получаем однородную систему
для х1 и х2, с нулевым определителем, и можно выбрать х1=1,
а х2 выразится через х1.