В каком формате видео лучше цифровать видеозапись с видеокассет?

>> на диск меньше часа помещается
на какой диск?? для начала - на чем хотите потом воспроизводить?
если на DVD-Video (для обычных стационарных DVD плееров), то у вас, собственно говоря, выбора нет. только манипуляция параметрами сжатия (нормальное видео - 2 часа на DVD болванку)
если же просто для хранения, то .mkv, .mp4 с кодеком h.264

если с VHS кассет, то там стандартное разрешение.. можно делать DVD-Video (3 часа и больше без проблем помещается), либо перекодировать, как и написал выше, в любой формат файла (просто надо поиграться с параметрами сжатия). А потом пишете DVD-Data болванку с файлами. в SD качестве туда влезет много и много часов видео.

Вы когда оцифровываете видеопоток, то многие программы захвата, по началу, записывают видео с малым сжатием и высоким битрейтом.
Сделано для того, чтобы не нагружать процессор одновременной кодировкой данных и не пропускать кадры в видео потоке.
Вам нужно, после этого, обработать полученный файл уже второй раз, ужав до нужного вам размера и формата.

То есть не следует сразу писать на болванку. Сохраните полученное видео в папку на диске, а потом обработайте (лучше с двойным проходом) второй раз.

дык любой, битрейт побольше ставь , скачай пару фильмов в хор качестве и посмотри чем и как сжаты

Всё зависит от программы оцифровки, она сама решает.
Я пользуюсь Pinnacle Studio, так вот она оцифровывает в AVI (только в свой, специфический, применяемый для дальнейшего редактирования). А уже готовый отредактированный фильм может записать как тебе угодно.
Что касается качества. то из г... конфетку не сделать. Качество видео на кассетах VHS оставляет желать лучшего.