Какая видеокарта подойдет?

Видеокарта должна быть только NVIDIA. Все современные рендереры типа IRAY и Vray RT работают корректно только с этими картам, так как используют CUDA процессоры, которых нет в radeon-ах. Об этом чётко сказано у производителей. В противном случае все просчёты будут проходить с использованием ЦП. Что сильно затормозит процесс.
Здесь можете почитать, что об этом горит Mentalimages об IRAY: http://www.mentalimages.com/products.html
Здесь почитайте с какими проблема столкнётесь, если поставите Radeon: http://www.3dcenter.ru/forum/lofiversion/index.php/t109567.html
Конечно, для работы лучше взять NVIDIA quadro. Но это не дёшево.
Как вариант: GTX 470, GTX 570, GTX 590...

Ищите GF8800, у перекупщиков! Такие видеокарты уже не выпускают. Новую карту, современную нет смысла ставить на ваш комп. Он устарел для игр, ему года 4 или больше, для игрового компа это много!

Или ищите антикварную видеокарту, чуть мощнее той что у вас есть, или купите новый комп для игр. Комп для игр во все времена и сейчас стоил около 1 000$.

Тут с процессором проблемы.... у тя нынешний выше той-же 8800 не потянет

для таких программ проц лучше помощнее и оперативки побольше...

8800 или 2600 уже не найти в продаже только б/у, брать стоит 6770 или 450gts больше не стоит, смысла будет 0 все упреться в проц. и не понятно почему не идет на 1950 pro по сути тоже самое 8800