Как в After Effect, Сделать плавное покачивание предмета, типа как картина на гвозде шатаеться

Трансформация + ключи

...по ключевым кадрам вокруг точки вращения, выносом которой можно регулировать длину подвески.
Другое дело, что такое покачивание это нелинейный процесс, там нужно ещё динамику между кл. кадрами настраивать...

https://helpx.adobe.com/ru/after-effects/using/expression-language-reference.html
Ну например:
wiggle(1,15)
Wiggle выражения хаотичного изменения значения. Это выражение может использоваться, чтобы сделать вашу сцену более органичной и естественной.
Первая цифра — количество сдвигов в секунду, а второе число — значение покачивания
Или встроенный в программу:
Шаблоны настроек и анимации - Behaviors - Покачивания, поворот и настроить нужную амплитуду, скорость и др.

Здесь даже After Effect не нужен - пользуйтесь предустановленным плагином "движение" в Премьере, распишите качание по ключевым точкам - там все элементарно.

Без "Выражений" будет тяжело или убого. Вот тут разобрано всё по полочкам:
http://www.jjgifford.com/expressions/geometry/frequency.html

Инструментом pan behind tool - Y перемещаете якорную точку картинки.
Создаете 2 ключа анимации вращения соответствующие крайним позициям при раскачивании.
Копируете 1й ключ на расстояние равном кадрам между 1 и 2 ключам.
Выделяете 1й ключ - Ctrl+Shift+F9, 2й - F9, 3й - Shift+F9.
Либо через режим графэдитора (значек с синусоидой рядом с таймлайном) не забыв при этом выделить анимированный параметр. Под таймлайном появятся пиктограммы (крайние 3 справа = хоткеям что я описал выше), так же все это есть в меню ПКМ на выделенном ключе в пункте Keyframe Assystant.