Какой использовать видео кодек из трех: MPEG4? XviDMPEG4? H264? и аудиокодек из двух: MP3, AAC?

На DVD звук всегда был 48 кГц.
Размер кадра 720х576 (PAL) или 720х480 (NTSC).

Кодировать надо в H264

1) Нет
2) Хочешь максимально сохранить качество видео? Конверть в 12-битный HEVC (кодек H.265), выставляя оригинальное разрешение и частоту кадров.
Но сперва тестируй всё на сэмпле, чтобы подобрать оптимальные настройки в скорости кодирования, ибо качественный конверт может занять очень много времени.
По звуку - либо AAC, либо AC3. Можно ещё FLAC - но вообще, смотри на то, какой звук у тебя в оригинале.
MediaInfo даст тебе необходимые сведения.
Разбирайся дальше сам. Инфы в интернете полно

А вообще, переводить DVD в MKV - это бред. Ибо там максимальное разрешение 720×576, что по современным меркам просто ни о чем.

AAC -полный шлак, как будто запись с телефона ...нужно минимум AC3 или мр3
3000 kbps будет "квадратить" даже в 720р

Для перевода DVD в MKV не нужно выставлять FullHD, там исходное разрешение 720х576. Ставить ширину больше 720 нет никакого смысла. И битрейт такой большой не нужен.

Поставь кодек пак со всеми кодеками и экспериментируй

Никого не слушай!!! Лучше поэкспериментируй сам.

Если в плане качества звука, то aac и mp3 ни как не отличаются. Качество зависит в основном от битрейта. Но лучше выбрать mp3 там вроде и сжатие хорошее, и он популярнее (то есть поддерживаться будет практически везде). Из видеокодеков лучше выбирать H264 или
XvidMPEG4, он неплох в плане компрессии. Выводиться H264 будет в mp4, опять же самый популярный видеокодек. В mkv можешь потом перекодировать, советую использовать онлайн конвертеры, типа convertio или onlineconverter. Если не хочешь потерять качество видео и аудио, то не один из этих кодеков не подходит. Если есть возможность использовать другие кодеки, то советую lossles-кодеки которые не сжимают качество и не сжимают объём (т. е. видео будет весить много. Например из аудио : flac (Free Lossles Audio Codec) , из видео : Lagarith Lossles Video Codec, из расширений видео лучше : .mov. Если надо сжать объём видео и оставить исходное качество, то из аудио таких кодеков нет, если даже есть, то они будут работать только с определёнными расширениями которые потом нельзя будет вывести и куча других проблем... Все объяснять не буду. Из видео кодеков сжимающих вес файла и оставляющих качество советую : MSU Lossless Video Codec. В общем самый лучший выбор - это lossles кодеки. В твоём случае XviDMPEG4 или H264, это уже на твой выбор, и из аудио mp3. Частоту дискретизации ставь 48 Килогерц. Все остальное правильно, насчет битрейта уточни : постоянный или переменный. И 3000 килобит в секунду это очень мало для качественного видео (как для потока, так и для передачи. Лучше ставь исходное или почитай в интернете, что лучше пойдет для твоего видео. Для аудио выставь 320 кбит в сек (поток) или исходное (если там есть). Канал аудио стерео - чтобы в два уха звук шёл. Всё, удачи в конвертации.