Проверить, лежат ли в одной плоскости точки A,B,C,D, и найти линейную зависимость векторов

От координат второй точки вектора отнимаешь соответствующие координаты первой точки вектора, получаешь вектор.
Если все компоненты одного вектора умножить на одну константу, то получим второй вектор линейно зависимый от первого. Существует ли такая константа у двух векторов, легко проверить, деля их соответствующие компоненты .

Три точки плоскости определяют её наклон. Наклон выражается через вектор нормали к плоскости. Те же три точки могут быть соединены двумя векторами. Их векторное произведение (зависит от порядка сомножителей) может дать тот же вектор нормали. Итак, вычислим нормаль.
Остаётся 4-ю точку соединить с любой из трех вектором и помножить его векторно на какой-нибудь вектор из уже лежащих на плоскости. И если произведение даст ту же нормаль или вектор противоположный ей, то и 4-я точка принадлежит плоскости.