Вообще-то производитель рекомендует использовать две видеокарты - соответственно, материнская плата должна иметь два слота x16 PCIe (лучше версии 3.0).
В случае нужды допускается использовать и одну видеокарту, но рекомендации следующие:
"If you are building a system with only a single GPU we recommend the fastest one you can justify such as the GeForce GTX 780 with 3GB RAM, or the GTX TITAN with 6GB RAM."
Первая из них превышает Ваш лимит раза в три, вторя - минимум, в четыре. .
Для аппаратного ускорения рендеринга под Windows данная программа может использовать технологии CUDA (nVidia) или OpenCL (AMD) - так что, по идее, должны работать оба варианта ("косые", AMD+nVidia, конфигурации, естественно, не поддерживаются) . Хотя, действительно, в подавляющем большинстве случаев народом используются карты nVidia.