Почему решили, что красный это противоположность синему, желтый - зеленому и т. д.?

С цветами вообще всё непросто, потому что цвет - понятие субъективное. Ощущение одного и того же цвета может быть вызвано как электромагнитной (световой) волной ОДНОЙ определённой частоты ("монохроматический свет"), так и СМЕСЬЮ нескольких волн различной частоты. Этим занимается раздел оптики "колориметрия", не путать с "калориметрией" - измерениями тепла. Чаще говорят, что красный - противоположен зелёному, потому что их смесь кажется глазу чёрной (точнее, тёмно-серой) . В цветной фотографии приняты другие связи цветов, это связано со свойствами цветных плёнок.

Методом проб и ошибок.

В модели RGB красный действительно эдакая противоположность и синему, и зелёному. В модели CMYK жёлтому "противостоят" циан и магента. Всё дело в том, что в каждой модели выбираются изначальные цвета, из которых можно получить остальные (смешивая их или "вычитая" один из другого в разных пропорциях).

В цветотехнике есть такое понятие, как дополнительные цвета. Если продолжительно смотреть на объект, освещенный дневным светом, через красный светофильтр и потом его убрать, то дневной свет на некоторое время окажется смещенным в область синего цвета и наоборот.

мне Более близка теория Эмоционального восприятия
т. е. многое зависит от того Какие чувства будет в Человеке
тот или иной цвет - Красный - возбуждает, Синий - успокаивает
потому по Аналогии вызываемым противоположным Эмоциям
Эти цвета также соотносят Антиподами в Восприятии, а Серый -
это Промежуточный эмоциональный Цвет, как Сумерки между
Ночью и Днём, когда все Краски спят, а потому Определённого
эмоционального Состояния ему привязать Нельзя, а значит
и Противоположность вывести просто Невозможно и Нереально)

инверсия цвета, так же как негативная фотоплёнка, когда белый превращается в чёрный и наоборот

пушо британцы красные, а французы синие