Каким должен быть компьютер для записи видео, в хорошем качестве через fraps/bandicam

Да сможешь. Я то записываю.

Процессор:
Intel Core i7-5960X Extreme Edition 3000MHz
Система охлаждения:
Водяное охлаждение Corsair Hydro Series H110
Материнская плата:
ASUS RAMPAGE V EXTREME/U3.1, Intel X99
Оперативная память:
32GB (4 x 8GB) DDR4 2400Mhz Corsair Vengeance LPX
Видеокарта игровая:
ASUS GeForce GTX 980 Ti
3-Way SLI (три видеокарты)
Корпус:
Cooler Master Cosmos 2
Блок питания:
Cooler Master V1200 Platinum 1200W
Твердотельный накопитель №1:
480GB Corsair Neutron XT Series
Твердотельный накопитель №2:
480GB Corsair Neutron XT Series
Жесткий диск №1:
3Tb Western Digital Caviar SATA-III, 6Gb/s
Black Series
Жесткий диск №2:
3Tb Western Digital Caviar SATA-III, 6Gb/s
Black Series
Оптический привод №1:
Blu-Ray BD-RE ASUS BW-16D1HT
Звуковая карта:
Встроенный звук 8-Channel High Definition Audio CODEC
Wi-Fi адаптер:
Wi-Fi адаптер ASUS USB-AC56 (300 Мбит/с, USB)

ну явно не токаой как у тебя

i5-2500k
asus 7850 2gb gddr5
8gb ram 1333mhz 1) меняем видеокарту на msi gtx 970 4гб также оперативную память на 8г с частотой на 1600 или выше

Open Broadcaster с использованием Quick Sync должен дать отличные результаты. То есть без просадок FPS.

А почему нет? Возьмите да попробуйте!

смотря какие игры, не все онлайн игры смогут дать с фрапсом и бандикам 60... эти две проги дают просадку во время записи до 20 фпс, т. е. из-за этих прог может лагать игра, если идёт запись.... сейчас есть технологии лучше фрапса, в вашем случае raptr, для GTX выше 630 Shadow play, эти проги абсолютно бесплатны... так вот плюсы этих программ, они используют кэш ПК при записи, просадки нет вообще, если вы записываете в фоновом режиме, что за режим? это супер режим, вам не надо включать запись игры, и если допустим вам понравился момент или игра полностью, вы нажимаете горячую клавишу, и игра из кэша записывается вам на жёсткий диск, а если игра не понравилась, просто игнорировать её и всё, места на диске она не заберёт... фпс не просидает, лагов нет, не надо хломить диск, 3ёх часовыми роликами... минусы... макс 20 минут записи при таком режиме, это единственный минус