У меня плеер ВВК, в довольно приличном возрасте, лет 5 ему. Тоже умеет читать avi. Большинство фильмов из инета он читает без проблем. Если что-то ему не по вкусу, то в VirtualDub-е я прогоняю проблемный файл кодеком DivX. Битрейт рассчитывается при настройке кодека. Аудио чаще всего копирую прямопотоковым копрированием. Если разрешение по горизонтали 720 и менее, то его можно не менять, плеер его проглатывает. Если больше (HD например) , то приходится уменьшать размер кадра до нужного, чтоб не было не более 720 по горизонтали.
Вам нужно посмотреть (например прогой Media Info), какие файлы "любит" Ваш плеер, их разрешение, кодек. И делать с такими же параметрами