В Фотошопе при использовании инструмента "Перо" вырезаетсяна новый слой не выделенная фигура, а все остальное. Почему?

Потому что потом в строках Выделение возможно была включенп инкенсия

ну можно инверсию выделения сделать
на счет слоев не понятно, вырезается другой слой, не тот который нужен? если так, то просто выбрать нужный слой, а затем выбрав обтравочный путь заново сделать выделение

пропустили какой-то пункт...

Вообще, чтобы работать с чем-либо, его нужно выделить и уже потом совершать с ним какие-либо действия. Ты же, прежде, чем отрезать хлеб, берешь в руки нож и хлеб, не так ли? Так, что сначала выделить слой на котором расположен объект и уже потом инструментом выделения его выделяй (лучший вариант "магнитное лассо").

Всё элементарно Ватсон сделай Инверсию после того как выделила и только потом вырезай на новый слой.