Почему желтый с фиолетовым хорошо смотрится, а оранжевый с фиолетовым уже как-то не очень?

Теория цвета, цветовые контрасты. Жёлтый и фиолетовый хорошо смотрятся за счёт контраста по тону. Их построение основано на теории цветового круга Иттена, где описаны самые удачные комбинации цветов. Судя по этой теории, оранжевому подходит синий/голубой (смотря какой оранжевый). Но, также, стоит учесть тон, яркость и насыщенность цвета.

Так же как желтый является дополнительным к фиолетовому, оранжевый явлется дополнительным к синему
Но не ко всякому синему, а тот что ближе к фиолетовому спектру .Этот цвет соответствует краске которая называется ультрамарин, а еще лучше кобальт синий
Любой цвет имеет свой дополнительный и оранжевый не исключение.
Но опять же нигде и никем не записано в правилах что цвета должны соседствовать только с дополнительными .Мода такая переменчивая штука что порою ей нравятся даже самые не сочетаемые цвета .Я помню например лет десять в нулевых самым массовым ширпотребом была спортивная одежда и куртки пуховики сочетания цветов темно зеленого и фиолетового
или желтого и голубого .Совершенно на мой вкус полная цветовая безвкусица, а людей приучили и они это покупали и носили, как попугаи
Так что ничего удивительного что мода делает такие фортели

Оранжевый и фиолетовый не являются комплиментарными. Однако, если добавить третий цвет, зеленый, все встанет на места. Колористика - она такая.

Это твоё мнение

Мнение умных людей: потому что они находятся на противоположных сторонах цветового круга, т. е. являются контрастными.

Моё мнение: потому что оранжевый вообще мало с чем сочетается. Разве что с зелёным, жёлтым и/или коричневым.

Хорошо сочетается оранжевый с фиолетовый. Не хуже, чем желтый. Наверно оттенок имеет значение.
И, по моему, это сочетание является сложным, так же как синий-коричневый. Сложно, но можно, как говорится. Всё зависит от эстетческого чутья сочетателя.

В дизайне правила существуют для новичков и посредственностей. Они ограждают этот круг людей от сложных решений, в которых легко сделать ошибку.

Уверяю, что если Вы сможете сделать красиво самое "несочетаемое" сочетание цветов, то никто Вам поперек и слова не скажет.