Как называется программа?

Это называется трекинг и ротоскопинг, т. е. есть маска и точки привязки. Программа отслеживает движение. Есть такие, но Вам ее сразу не осилить. Кроме того нужно знание английского языка и MacOS (можно и Винду) на английском языке. Есть и простенькие бесплатные, можете попробовать. Идите в Яндекс и наберите в поиске Claxa. Вот эту Кляксу и качайте, это как раз она.

Фотошоп СЦ 3 и выше (покадровая работа) , либо Афтер Эффектс с маской в помощь.
Даже с применением таких программ мы в обоих случаях получаем довольно геморный и трудоёмкий процесс.
Всё было бы намного проще, если бы мы ИЗНАЧАЛЬНО сняли объект на однородном фоне с правильным освещением.

Вырезать придется покадрово - от программы тут ничего не зависит

Вот если бы на заднике был бы однородный фон было бы проще, а так тока ручками

Тут вам нужно ознакомится с технологией хромакей,
http://recandplay.ru/2011/01/kak-delayut-speceffekty-v-kino-chromakey/

в сони вегас это можно делать вот так
http://recandplay.ru/2011/03/chromakey-v-vegas-pro/

Вообще то для этого нужно снять человека на рире а потом прокеить
есть вариант очень долгий но если дется некуда то можно
по кадрово сделать только помните в одной секунде видео 25 кадров
вот и прикиньте сколько сидеть
можно в Афтере сделать масочку по границам движения
размазать границы но все равно вырежется нечетко