Дифуры экзамен! Метод функций Ляпунова .

... а дальше выясняется, что общего метода получения функции Ляпунова нет.

Однако в данном случае знающие люди советуют в качестве таковой взять квадратичную форму:
V(x,y) = ax^2 + by^2 >= 0
(Следовательно, > 0 и b > 0)

Тогда
dV/dx = 2ax
dV/dy = 2by

dV/dt = dV/dx dx/dt + dV/dy dy/dt =
2ax (-2x-y) + 2by(x-2y) =
- 4a x^2 + 2(b-a) xy - 4b y^2 =
-4 (a x^2 - (b-a)/2 xy + by^2)

Осталось подобрать такие a и b, чтобы вся эта ботва превратилась в полный квадрат:
2sqrt(ab) = (b-a)/2
4sqrt(ab) = b - a
16 ab = b^2 - 2ab + a^2
18 ab = b^2 + a^2
(b/a)^2 - 18 b/a + 1 = 0
b/a = 9 +- sqrt(80)

В общем, функцию Ляпунова нашли, убедились, что её производная меньше 0, следовательно, решение будет устойчивым по Ляпунову.