В фотошопе при выборе внешнего канала, что отделить текстуру, все становится белым, как исправить?

Частотное разложение что ли делаешь? Что то не так сделал, смотри туториал внимательнее

У тебя слой ФОН и слой лоу, не перепутаны?!

Давайте я попробую угадать. Вы, по-видимому, пытаетесь разделить изображение на две полосы частот, работаете с 8-битным изображением с зачем-то отрезанным профилем. Чрезвычайно информативное название "Фон копия", по-видимому, свидетельствует о том, что на слое никакая не копия, а, наоборот, результат применения какого-либо фильтра низких частот к исходному изображению. А "Фон копия 2" -- действительно, перед применением команды "Apply Image..." должно бы быть копией исходного изображения, но почему-то оказался сплошной белой плашкой.

Давайте исправлять ошибки. Замените эту белую заливку копией исходного изображения (не размытого, естественно). Дальше для последующего сложения Вам ведь понадобится наложить этот слой в режиме Linear light, не так ли? Этот режим наложения прибавит отклонение от уровня 2^(8-1)=128, умноженное на 2, значит Вам необходимо перед вычитанием поделить результат на 2 и сместить на 128 тоновых уровней. Значит, Вам не нужно инвертировать источник, нужно делить на 2, смещать на 128 и выбрать режим "Subtract". Пробуйте, у Вас получится.

PS: Складывать с инвертированным вариантом нужно было бы, если бы у Вас было 16-битное изображение (спойлер: оно на самом деле не 16-битное, а только так называется). Но всё равно нужно было бы пополам делить, потому что Linear light всегда умножает отклонение на 2.

А вообще лучше бы понимать, что Вы делаете, тем более, что арифметика здесь на уровне 4 класса средней школы.