Какой вариант оперативки будет работать лучше?

лучше будет 3Гб, тк разница в скорости незначительна - тут есть смысл думать, если разница в скорости не менее 50% (400 и 800 как минимум сравнивать - тогда еще есть смысл думать, что нужней скорость или объем) , а для соседних частотных режимов это слишком незначительно

кстати вполне возможно, что 533 память сможет "разогнаться" до 667 (принудительно выставить)

второй . с первым есть шанс получить bsod

Первый вариант, конечно, предпочтительнее, но не каждая память на 533МГц сможет разогнаться до 667МГц.
Надо пробовать и проверять мемтестом.

Лучше 3Gb- в 667МГц, путём разгона планок 533 до 667

Первый и второй вариант это не вариант. лучше 2 гб-667

Конечно желательно 1 вариант: 4 слот 1024МБ-800МГц или 2 слот 1024МБ-800МГц. Так как они будут работать еще быстрее а если материнка двухканальный то вообще супер при таком выборе.
Так если у матьки раз частота 667МГц тогда в двухканальном выбрать 2Гб-667МГц а если добавить еще 1Гб т. е. в общем будет 3Гб то нечего такого страшного не будет а намного еще чуть быстрее будет работать. В двухканальном режиме желательно чтобы у планок ОЗУ был одинаковый память, частота и желательно фирма тоже но и выбрать смотря на частоту матьку а то если частота не совпадает с материнки то двухканальный режим не будет работать или матька вообще не тянет ОЗУ если у него частота больше чем у материнки или просто будет сбой т. е. либо комп не запускается либо перезагружается при запуске системы. Так как при таком сбое планки ОЗУ возможно повреждаются либо сам материнка или даже проц так как проц технично строго связан с этими слотами памяти. Так что совет мой такой.