.Есть формула и есть фон. Хочу так, чтобы формула была на фоне, но не было белого цвета. Как сделать ?

открываем картинку с формулой в фш, переходим во вкладку Каналы, оставляем видимым только красный, отключив иконку с глазом на всех остальных, далее заходим в Изображение-Коррекция-Уровни, выставляем в окнах такие значения: 103 0,61 233, жмём Ок, наводим курсор на иконку изображения слоя Красный, зажимаем Ctr и одновременно кликаем по этой иконке, после этого должен выделиться фон, включаем значки видимости-(глаз) всех каналов RGB, переходим в Слои, делаем инверсию выделения: Выделение-Инверсия (или shift+ctr+i), создаём новый слой, заливаем его чёрным (предварительно убедившись, что в палитре выбран чёрный цвет, если нет, то нажимаем кнопку D), зажимаем Alt+backspace, далее снимаем выделение, оставляем видимым только этот верхний слой, а под ним создаём слой с нужным фоном. Фон делаем так: открываем нужную картинку в новом документе, выделяем её, далее переходим в Редактирование-Определить узор, всё, теперь у нас в параметрах наложения есть этот узор, который мы применяем (в режиме Нормальный) к нижнему слою, залитому любым цветом

... слишком мелкие символы для того чтобы качественно и их выделить.
Нужен масштаб намного крупнее

Тупо залить в фотошопе белый цветом фона. Если там фон с текстурой, можно заливать и текстурой, без проблем. Другой вариант, если фон однородный - выполнить замену цвета.

полностью не выходит

Вырезать формулу (в твоем случае легче будет вырезать сам белый фон) и перенести на серый

слоооооожно

Хромакей для этого есть.
или заливка цвета.