Как выбирается разрешение видеофайла при конвертации? Например, исходный файл - MKV, 1088 х 612. На выходе что ставить?

А под ЧТО вы кодируете? Данный файл имеет пропорции 16:9. Так что, если надо для DVD плеера, то ставьте AVI DivX (или XviD) 720х400.
Если плеер НОВЕЙШИЙ, то, скорее всего, поддерживает и MKV H264, тогда просто снизьте разрешение.