Проверить без построения, что четырехугольник выпуклый, даны вершины четырехугольника А (-10,0),В (1,7),С (6,-8),Д (-8,-11)

Я бы поступил следующим образом:

1. Составить уравнение любой диагонали. Например, АС.
2. Данная диагональ делит плоскость на две полуплоскости. Задать каждую из полуплоскостей неравенством.
3. Определить принадлежат ли точки B и D разным полуплоскостям или одной. Если разным, то повторяем этот же алгоритм для диагонали BD и точек А и С. Если в этом случае лежат в разных, то четырехугольник выпуклый. Если же в первом случае лежат в одной, то не выпуклый и повторять алгоритм для другой диагонали нет смысла.