Через что снимать игры, чтобы видео весило не много, как во фрапсе, и чтобы прямо там можно было обработать?

Если вы будете сжимать снимаемое видео в реальном времени, у вас никакой мощности не хватит. будет 0,5fps максимум.

Так что купите жесткий диск побольше и снимайте фрапсом. А потом пинаклом или вегасом сжимайте и обрабатывайте. Лучшего еще не придумали.