Помогите решить в QT

И что сложного? Рекурсия нужна. Задай начальные координаты, отрисуй многоугольник, вычисли новые координаты, примени процедуру отрисовки заново к вычисленным координатам. По QT материалы по компьютерной графике нагугливаются быстро. Формула координаты точки делящей отрезок в заданном отношении - в любом справочнике по аналитической геометрии есть. Начальный пятиугольник тоже рассчитать просто.