по какой формуле получилось что cos(x)*ctg(x) = 1/sin(x) - sin(x) ?

Потому что cos(x)*ctg(x) = cos²(x)/sin(x) = (1 - sin²(x))/sin(x) = 1/sin(x) - sin(x)

(расписали ctg(x) как cos(x)/sin(x), потом cos²(x) в числителе расписали как 1 - sin²(x) по основному тригонометрическому тождеству, затем поделили почленно).