подскажите аналог FRAPS чтобы сразу видео в H.264 и звук в ACC или FLAC кодировать

Camtasia Studio. придется поплясать с бубном, но она вообще умеет писать "сырой" материал через любой кодер.
(...конечно, если у вас хватит мощности компа на такое кодирование)