факториал отрицательного числа

Насколько я знаю, факториал бывает только у натуральных чисел и у нуля. У отрицательных - факториала не бывает...

А. Чорный, это вопрос о поведении Гамма-функции, которая
является обобщением факториала на не натуральные
числа.
Вместо n! надо написать Г (n+1) и учесть, что
Г (0)=Г (-1)=Г (-2)=...=бесконечности. В теории функций
комплексного переменного эти точки называют
ПОЛЮСАМИ функции.
Так как Г (n+1) находится в знаменателе, то
1/Г (0)=1/Г (-1)=1/Г (-2)=...=0.
Правда, при отрицательных n подынтегральная функция
обращается в бесконечность на концах промежутка, и
интеграл расходится, так что получается неопределенность.
Таким образом, придется найти предел при x --> n,
n=0, + -1, + -2, ..
Думаю, что всё это есть в хороших книжках по спецфункциям.

никак. Факториал определён только для целых неотрицательных чисел.

Никак. Вам уже сказали почему. Запись с факториалом отрицательного, тем более целого, числа нигде в мире не употребляется. И интеграл сходится только при n > - 1.

Другое дело, что вероятнее всего, Вам нужна функция Бесселя при отрицательных значениях индекса.. .ну так она интегрально не представляется в этом случае. Это представление - для целых неотрицательных n.

Как считать - тома исписаны, а Вы здесь ответ хотите получить.
Это функция Бесселя, с индексом n+1/2, равным половине нечетного числа. Вообще-то их считают таблично или с помощью математических пакетов. Аналитическими средствами Вам удастся лишь свести интеграл к конечной сумме, и то для редких типов индексов, типа n+1/2, как раз как у Вас здесь. Делается это так:
сперва замена cos θ = t, получится
интеграл от -1 до 1 cos(xt)(1-t^2)^2n dt. Раскрываете скобки, каждое слагаемое интегрируете по частям. Получится некая сумма.

Вид этот неулучшаем, лучше только интегральное представление, например, как в вопросе. .

Это все для целых неотрицательных n. Для отрицательных такое интегральное представление не работает. Там сперва получают значение функции Бесселя для индекса (-1/2) (n=-1), пользуясь ее разложением в ряд, а потом пользуются неким рекуррентным соотношением, считая последовательно функции Бесселя для индекса (-3/2) (n=-2), (-5/2) и т. д. Напоминаю, индекс равен n+1/2.

В общем, это Вам не раз плюнуть, треба учить матчасть.
Скачайте монографию Ватсона, "Теория бесселевых функций", и хоть всю прочитайте. Но на самом деле Вам нужны стр. 65 - 67.