Конструирование регулятора для неустойчивой системы

Это не маятник!
У маятника должна быть возвращающая сила, которая возвращает его в положение равновесия. А у Вас только одна неустойчивая точка.

Уравнение на фазу маятника Капицы следующее:

y" = - (a*w^2 * cos(wt) + g) * sin(y)/b,

где
y - фаза маятника
a - амплитуда колебаний внешней силы
w - частота колебаний внешней силы
t - время
g - ускорение свободного падения
b - длина стержня маятника

Перейдите к пределу линейных отклонений маятника Капицы от положения неустойчивого равновесия (верхней точки) и получите нужное Вам уравнение с внешней линейной силой.
Обратите внимание, что для устойчивых колебаний около неравновесной точки маятника, внешняя сила будет входить в уравнение колебаний не только как в случае обычных вынужденных колебаний, но еще и в качестве коэффициента в возвращающей силе. То есть около неравновесной точки устойчивые колебание за счет только внешней силы не получатся. Нужно чтобы были параметрические колебания.
То есть уравнение y''-y=x не дает нужного эффекта.
В общем случае для устойчивых колебаний около неустойчивого положения равновесия уравнение должно быть таким: y''-y*f(t)=x(t).