Проверить компланарность трех векторов: 2а, в, 4с. a=i+ 3j-3k , b=2i-j+3k , c=i-4k

компланарность векторов эквивалентна их линеиной зависимость. Вектора линейно зависимы, когда определитель матрицы, составленной из столбцов их координат, равен 0. Подставляем их координаты, считаем их определитель:
1 3 -3
det 2 -1 3 = 1*(-1*(-4)-0*3) - 3*(-4*2-3*1)-3*(0*2-(-1)*1) = 4 + 33 - 3 = 34
1 0 -4
Получилось неравное нулю число, значит вектора некомпланарны.

вектор 2а{2; 6; -6} вектор b{2; -1; 3} вектор 4c{4; 0; -16}
векторы 2а и b не коллинеарны, т. к. координаты одного не пропорциональны координатам другого.

Тогда если вектор 4с можно разложить по вектора 2а и b, то все три названных вектора будут компланарны по признаку компланарности трех векторов.

Таким образом нужно проверить существуют ли такие числа х и у, что 4а = х2а + у b.
Запишем это равенство в координатах:
4 = 2х + 2у, 0 = 6х - у, -16 = -6х + 3у
Если система уравнений имеет решение относительно х и у, то вектор 4с можно разложить по векторам 2а и b. Но система решений не имеет, поэтому разложить вектор 4с по векторам 2а и b нельзя, а значит эти три вектора не компланарны.

Решение, предложенное Вам не входит в базовый школьный уровень, но оно безусловно короче. Если Вы знакомы с матрицами, то тогда можно решать и тем способом.
Желаю успехов!