В каком формате записывать фильмы на диск, чтоб места меньше занимало.

Вопрос должен звучать: "в каком кодеке?", а не "в каком формате?". Потому что формат файла -- это контейнер, в котором может содержаться видео и аудио потоки, закодированные разными кодеками.
Достаточно старый и проверенный кодек - AVC1 (он же H.264) сейчас заменяется дающими большее сжатие AV1 и VP9. Так что перекодируй в один из них. И, разумеется, нужно использовать режим VBR (переменный битрейт), в этом случае на динамических сценах битрейт будет больше, обеспечивая нужное качество, при высоком среднем сжатии.
Разумеется, можно также уменьшить разрешение или средний битрейт -- здесь уж выбирай, насколько ты согласен пожертвовать качеством.
В любом случае, прежде чем запускать массовое перекодирование, сначала просмотри небольшие тестовые фрагменты, перекодированные заданной программой с заданными параметрами.

С качеством - МР4.

MP4
И не выше 720р.

16:9 - 720
Потом можешь его конвертнуть до 4к.

.FLV

в любом. любой кодек можно настроить на любую степень сжатия. сам просто реши, какого размера ты хочешь получить файлы на выходе.

• Применять сжатие изображения кадров;
• Уменьшить частоту кадров;
• Сократить размер изображения кадров;
• Снизить битрейт видео или/и звука;
• Обрезать лишние фрагменты через видеоредактор;
• Выбрать кодек H264, но в принципе можно использовать формат видеокодека как на Ютубе. Там можно в настройках открыть "Для разработчиков" и увидеть кодек.
• Использовать современный видеорегистратор, видеоредактор.

144p и сжать в архив

480p