Как найти аналитическое решение Неоднородного ДУ порядка выше 1, в случае если частное решение не подбирается .

Для непостоянных коэффициентов общего метода нет.
Но в любом случае, т. к. уравнение линейное, для него сработает метод вариации постоянных, и не придется подбирать частное решение.
Вопрос в том, как найти два линейно-независимых решения однородного уравнения, поэтому дальше буду говорить только о нем.
1) Удачная замена (метод пристального всматривания):
Несколько примеров:
а) Можете попробовать искать решение в виде y(x) = z(f(x)). Тогда вы перейдете к уравнению для z(f), и можно попробовать подобрать f(x) такое. чтобы уравнение стало проще.
б) Можете попробовать искать решение в виде y(x) = f(z(x)). Тогда вы перейдете к уравнению для z(f), и можно попробовать подобрать f(z) такое. чтобы уравнение стало проще.
Например, такая замена при f(z) = exp(z) вообще понизит вам порядок уравнения на 1 (это следствие однородности).
в) Можете так же попробовать замену вида: y(x) = K(x) z(x), и перейти к уравнению для z. K можете подобрать таким, чтобы уравнение упростилось.
В частности, если в качестве K взять одно из решений однородного уравнения, то такой заменой вы понизите порядок и найдете второе независимое решение.
2) Обобщенный метод Лапласа. Он применим для уравнений весьма специального вида, но, быть может, вы сможете удачной заменой привести уравнение к такому виду.
Суть метода в том, что фунцкия y(x) ищется в виде интегрального разложение по экспоненте exp(xz), где интеграл по z берется по какому-то неизвестному контуру в комплексной плоскости. Вся фишка в том, чтобы выбрать подходящий контур.
3) Искать решение в виде ряда. Степенного, или любого другого.
4) Применить теоретико-групповой метод (группы Ли) для поиска точечных симметрий уравнения. Если вам повезет, и они (симметрии) найдутся, то каждая такая позволит вам понизить порядок (к слову, замены, которые я привел в пример - это тоже использование симметрий уравнение: линейности и однородности).
5) Заменой: y' = z, z' = y'' = r - p y' - q y перейти к системе линейных уравнений. Это полностью эквивалентно исходному уравнению, но там вы можете иногда удачнее применить все указанные ранее способы, чем в исходном виде (как повезет, как увидите).
Удачи.