Разъем на материнке слишком старый. Вы можете поставить чуть более мощные процессор и видеокарту (мощность которой определяется не количеством памяти.. .во всяком случае - далеко не в первую очередь) , но это будет ничтожный прирост по сравнению с переходом на современную платформу. Но при этом менять нужно все - материнку, процессор, видеокарту (хотя, ее, технически, можно временно оставить) , память, хард.. .
Если Вы все еще хотите именно на старое железо поставить процессор и видеокарту посильнее, то.. .вот список поддерживаемых процессоров:
http://www.asus.com/Motherboards/Intel_Socket_775/P5GD2X/#CPUS
самый сильный из них - P4 672, но его, равно как и его ровесников, еще найти надо.
С видеокартой сложнее: воткнуть можно и самую сильную на данный момент GeForce 690, только она там на фиг не нужна. Откровенно говоря, у Вас уже сейчас стоит излишне сильная для поддерживаемых процессоров видеокарта, ее менять (без смены всего остального железа) смысла нет.
Если есть вопросы - пишите на почту.