Настройки MPEG-2 при захвате аналогового видео. Объясните пожалуйста.

Для удобства кодирования видеоданных весь видеопоток разбивается на группы, называемые GOP (Group of Pictures - группой изображений) . Иными словами это частота повторения опорных кадров.
Подробнее в этой статье :
http://www.svcd.ru/docs/articles/misc/mpeg2.php
Чем меньше это значение, тем чаще идут опорные кадры, тем меньше искажения и меньше артефакты сжатия, и тем БОЛЬШЕ размер видеофайла. Во всём нужен компромисс.

Зависит, для какой цели захватывать.
Если для дальнейшего редактирования, то лучше вобще в DV AVI захватывать.
Если для сброса на диск, а видео м недорогой камеры, то 5000 битрейт вполне.
Таким же и битрейтом кодируй в DVD что б не ухудшалось качество.

с гопом лучше не мудрить, если не знать точно, что и зачем - толку от экспериментов с ним будет не много :) - ставьте по умолчанию, в 90% случаев будет оптимально
остальное CBR, звук можно 44 кГц на 160 кбит/с, качество 5-6 тыс - для простого VHS - будет "выше крыши"
*по поводу улучшения качества, я бы сначала выяснил, что конкретно сия штука делает, (шумодав + шарп + насыщенность - например) , всё это лучше делать самому, по необходимости, а программа пройдется по всему без особого разбора

это что за программа, выстави битрейт в районе 8000

для видео вполне хватит битрейт 6000 вряд ли авермедиа 8 поддержит