как проверить что четыре точки служат вершинами трапеции?

если какие-нибудь два отрезка параллельны - трапеция

Проверять надо в таком порядке: трапеция, параллелограмм, ромб. Если точки не являются трапецией то остальное проверять не имеет смысла (любой ромб это параллелограмм, а любой параллелограмм это трапеция) .
Проверять навернрое надо по признаку параллельностии противолежащих сторон, а у ромба еще и по длинне 2-х соседних сторон (остальные можно не проверять) .

Вот собственно и ничего сложного.

Проверить параллельность двух прямых легко: должно соблюдаться равенство:
(Ya2 - Ya1) * (Xb2 - Xb1) = (Yb2 - Yb1) * (Xa2 - Xa1), где
Ya1 - координата игрек первой точки прямой а (с остальными думаю понятно)

Длинну отрезка находим так:
L = sqr((X2 - X1)^2 + (Y2-Y1)^2)

или

Трапе́ция (от др. -греч. τράπέζιου — «столик» ; τράπεζα — «стол, еда» ) — четырёхугольник, у которого ровно одна пара противолежащих сторон параллельна. Дальше возьмите лист в клеточку, в центре поставьте центральную точку "0" Проведите горизонталь через точку "0". Это будет ось "х". Справа от точки "0" значения со знаком "+", а слева - со знаком "-". Теперь проведите вертикаль через точку "0" - это будет ось "у", вверх - "+", вниз - "-". Теперь нанесите точки А, В, С и D и соедините их в той же последовательности. Если у полученного четырехугольника имеется пара параллельных сторон - это трапеция, если нет - то нет; )

http://www.rstu.ru/metods/books/azs.pdf - учебник (в нем есть примеры решения... там вроде встречается такая задачка)