Числа х1 і х2 є коренями рівняння

Сначала преобразовываем искомое выражение, выделяя произведение и сумму корней:
(x1)^3*x2+x1*(x2)^3=x1*x2*((x1)^2+(x2)^2)=x1*x2*((x1)^2+(x2)^2)+2x1*x2-2x1*x2)=
=x1*x2*((x1+x2)^2-2x1*x2).
Теперь по теореме Виета: х1*х2=1/2, х1+х2=3/2. Получаем
(1/2)*((3/2)^2-2*(1/2))=5/8