какие многоугольники являются невыпуклыми?

Многоугольник называют выпуклым, если выполнено одно из следующих (эквивалентных) условий:
1. Он лежит по одну сторону от любой прямой, соединяющей его соседние вершины. (то есть продолжения сторон многоугольника не пересекают других его сторон) ;
2. Он является пересечением (то есть общей частью) нескольких полуплоскостей;
3. Каждая диагональ лежит внутри многоугольника;
4. Любой отрезок с концами в точках, принадлежащих многоугольнику, целиком ему принадлежит.

Если эти условия не выполняются - многоугольник не выпуклый.