При работе в фотошопе появляется надпись "Не хватает оперативной памяти (RAM)". Оперативная память 512. Что делать?

Ну это и в самом деле негусто.
Быстро можно помочь программе с помощью команды "Edit - Purge". Там есть подменю, где можно выбрать, какие именно заботы ты хочешь снять с памяти: буфер обмена, версии для отката, историю, или все подряд. Память забивается, в основном, версиями для отката.
Кроме того, исследуй вообще настройки программы. Ей можно указать, сколько шагов отката нужно хранить, какой процент оперативки можно занимать под свои нужды, на каком диске создавать файл кэша.
Если очищаешь память "истории", то сделай предварительно "снимок" наиболее удачных шагов работы (эти снимки будут лежать наверху списка "истории", рядом с исходной картинкой) .
Чтобы память расходовалась аккуратнее, позаботься о размере картинки. Подсчитай, какое разрешение (сколько пикселей) понадобится в результате. Если разрешение картинки придется увеличивать - то делай это в само конце работы. А если уеньшать - то в самом начале. Одним только этим ты можешь облегчить машине работу в несколько раз.