Какя должна быть температура видеокарты без нагрузки?

для каждой видеокарты установленная своя рабочая температура, не существует ГОСТа в данном случае. Поищите данные по вашей видеокарте если переживаете что она перегреется.

25-40 градусов

Смотря какая точно видеокарта, у меня вот например от зотак 8800 ГТС 512 в простое температура 60 градусов.

По-любому не меньше температуры окружающей среды

Это зависит от очень много:
1. модель видеокарты
2. система охлаждения видеокарты
3. охлаждение в корпусе

До 50 градусов нормально, но должно быть если все хорошо 30-35 градусов

Не больше 75 это стандарт для всех, все что выше критическое для видюхи, по малому кругу идет электричество и ток нагревает резисторы и Транзисторы, потом это идет на чип сет, температура становится для чипа просто критической, серъезных проблем просто не избежать.

не более 40

Такой, если стоит под батареей