Видео снятые Fraps занимают очень много памяти. Какой программой сжимать видео, чтобы оно занимало меньше памяти?

снимать не в HD качестве а в SD (например 720*576)
для сжатия подойдет любая программа видеоконвертер, например бесплатная версия Any Video Converter
укажите разрешение выходного файла по-меньше, и битрейт убавьте. таким образом размер уменьшится, а качество картинки останется оптимальным.