какой кодек использовать в VirtualDub чтоб после обработки качество не ухудшалось, но и файл без толку не распухал?

Это зависит от того, что ты хочешь получить в результате.

Если просто нарезаешь и склеиваешь видео - тогда никакого кодека вообще не надо, используй Direct Stream Copy.

Если хочешь ужать, чтобы сразу получить конечный продукт - фильм, пригодный для просмотра на аппаратном пелеере - используй DivX. Я обычно использую DivX3 LowMotion - настройки по умолчании (битрейт 910) дают вполне приемлемый результат. Для динамичных фильмов крайне желательно использовать переменный битрейт (smart bitrate control) - с кодеком DivX3 LowMotion это можно сделать в программе NanDUB вместо VirtualDub. Кодек DivX5 имеет встроенный smart bitrate control, но в некоторых его версиях (DivX 5.02 например) я наталкивался на авторские подляны типа "наш кодек совершенно бесплатный, но это не значит, что халява для Вас будет вечной, Вы им пользуетесь уже давно, так что платите". XviD же - кодек весьма неудачный: при простой перекодировке из него в DivX3 LowMotion размер файла уменьшается в полтора раза, нагрузка на проц при воспроизведении - втрое, при полном сохранении качества.

Если же результаты правки в VirtualDub'e (например, после корректировки яркости-контраста) надо сохранить с минимальными потерями - например, для последующей перекодировки в DVD-video - я использую чудовищно-архаичный кодек Indeo5.

XviD или DivX

Видимо, подход должен быть такой. Сначала вы определяете какой битрейт у вашего исходного видео, например, программой MediaInfo (или в самом Дубе: Файл - информация о файле) . И при перекодировании в Дубе, выставлять его примерно таким же.

Кодеки XviD или DivX, хорошие, их понимают железные плееры, что важно. Желательно двухпроходное кодирование, иначе рискуете получить мазню на быстрых сценах и сменах сцен, а также всплески "квадратности".

Чего значит какой? И с каким открываете в программе?

прямопотоковое копирование видео