Для начала решаем без правой части.
y''+2y'+5y=0
Характеристическое: k²+2k+5=0; его корни: k₁=-1-2i; k₂=-1+2i
Корни мнимые, значит y₀=(С₁cos 2x + C₂sin 2x)e^(-x)
Теперь, надо решать общее уравнение. Подбор не катит, остается метод вариации констант.
Считаем, что С₁ и С₂ - функции от х. Должно быть так:
C₁'e^(-x)cos 2x + C₂'e^(-x)sin 2x=0
C₁'(-e^(-x)cos 2x - 2e^(-x)sin 2x) + C₂'(-e^(-x)sin 2x + 2e^(-x)cos 2x)=e^(-x)tg x
Славно! Сокращаем всё на e^(-x). Имеем право, е^(-х) ≠0
C₁'cos 2x + C₂' sin 2x = 0
C₁'(-cos 2x - 2sin 2x) + C₂'(-sin 2x + 2cos 2x)=tg x
Решаем систему относительно С₁' и С₂' методом Крамера.
Главный определитель: D=-sin2xcos2x+2cos²2x+sin2xcos2x+2sin²2x=2
D₁=-sin2x*tgx=-2sin²x
D₂=cos2x*tgx
Остается восстановить С₁ и С₂ из производных и подставить в первоначально найденное решение.