Почему такой низкий фпс при съемке?

Заменить видеокарту на более производительную.

по сути ты начинаешь стрим используй штатные сервисы от производителя видеокарты тогда кодирование будет осуществляться силами самой видеокарты, а не процессора, потери будут минимальны.

Программа забирает много ресурсов на съемку видео. Используй Nvidia Geforce Expirience, там есть опция ShadowPlay, которая в отличии от Fraps не влечет за собой снижение fps.

Понизить разрешение съемки, комп не тянет

Во первых FPS в любом случае будет понижен потому что это нелегкая операция. Во вторых используйте быстрое кодирование, потому что если использовать тяжелый кодек, то ресурсы цп\гп дополнительно будут использоваться для кодирования видеопотока и если запись будет не успевать, то потребление цп\гп будет намеренно завышено, соответственно FPS будет снижен, чтобы не было десинхронизации и лагов при записи.
Это не зависит от того, какую программу используете, а зависит от её настроек.
Лучший вариант использовать быстрый кодек и вообще не использовать сжатие, но тогда размер видео будет огромным, поэтому лучше поискать более подходящее сжатие. Но если места не жалко и будете производить последующую обработку, то спокойно используйте без сжатия. Затем обработайте любым кодером\конвертером для уменьшения размера.
Один из быстрейших кодеров для записи Это Intel Quick Sync Video - попробуйте выбрать его в программе для записи и убрать сжатие. Эта технология поддерживается почти всеми процессорами intel core i5\i7\i9. Также есть быстрая запись и у Nvidia и у AMD. В некоторых случаях потребуется включить этот параметр в программе для записи (предварительно рекомендуется закрыть программы, которые также могут использовать ускорение и память гп, например Photoshop или какой-либо конвертер или редактор видео).