Не получается у меня этой функцией ничего заменить.
Даже на таком участке, не говоря уже о сложных каких-то.
Хочу упростить картинку, заменив лишние цвета другими.

Зачем тебе подобный геморрой? Возьми какую нибудь прогу для трассировки, например Adobe Illustrator (по моему лучшая) и обработай.
В зеркалках Nikon (некоторых?) есть функция "Выборочный цвет", а в мыльницах Canon (некоторых?) - "Акцентирование цветом".
Посмотри в своих ФА - авось, и в них есть что-то подобное.
ЛИбо воспользоваться советам Скобелева, либо в фотошопе использовать фильтр аппликация.
Замена цвета в целях уменьшения количества цветов - это совершенно не в ту сторону! )
Просто нужно настроить fuzziness (размытость)
Чем она больше, тем шире диапазон оттенков будет включен в замену
А если нужно без оттенков- выделение нужного участка, и стереть все с заменой на цвет фона
Выделить область для обработки инструментом выделения. Для замены цвета достаточно использовать перемещения ползунков в Слои- Новый корректирующий слой и далее пользоваться функцией Оттенок-Насыщенность- Яркость в основном используя Оттенок, или Цветовой Баланс - там "конкурирующие" пары цветов, также перемещаешь ползунки. Можно ещё использовать Заливку цветом, конкретный цвет можно выбрать в колор- пикере . (образце цветов - таблица)
Попробуй цветокоррекцию... Там есть цветовой фон - его и крути.
В фотошопе есть функция замена цвета. Я не пользовался, так что нюансы не подскажу
Закрашиваю участок нужным оттенком на отдельном слое и применяю для него подходящий тип смешивания с нижним слоем-оригиналом :/
Попробуй цветокоррекцию...
В фотошопе есть функция замена цвета.
.