как вывести звук на колонки и наушники раздельно?

Я проделывал нечто подобное. Значит так, в настройках звуковой карты ставим четырехканальный (квадро) звук. Колонки подключаем к фронтальному каналу, а наушники к тыловому. Скачиваем и устанавливаем Media player classic. Открываем композицию в Media player classic и дальше жмём "Воспроизведение -> Аудио -> Опции" и ставим флажки как на скриншоте



Звук появляется в наушниках, в колонках его нет. Далее открываем видео в другом медиаплеере (любом, но не в Media player classic, так как он используется у нас для музыки) и в настройках этого медиапроигрывателя отключаем многоканальный звук.

Реалтек вообще не карта, а чип в материнской плате. Ничего ты с ним не сделаешь.
Здесь даже внешний микшер не поможет. Нужна внешняя звуковая карт с несколькими физическими выходами (реальными, а не виртуальными).

возможно такое, только придется задействовать переднюю панель. в диспетчере Realtek (или другого) нужно в настройках выставить воспроизведение разных звуковых сигналов на каждом из выходов.

"заднюю панель можно порезать программно? " если при вставке разъема выскакивает диалог с выбором устройства, выбери наушники и посмотри что будет

Это можно только с цифрового выхода
Либо установить вторую аудиокарту и разным плеерам назначить разные выходы.

Да нельзя ничего "нарезать" - аналоговое устройство-то одно.
Изменить путь выхода на другой разъём - без проблем, а два потока обработать в одном логическом устройстве - нет.
1. Покупать колонки с оптическим входом и перебрасывать туда спдиф,
2. К телевизору звук по ХДМИ
3. купить вторую аудиокарту (можно даже усб) и не париться

Есть вариант искусственно склеить разные потоки в многоканальный звук. Его карта обработает и пустит каждый канал на свой выход.
Но боюсь, такую программу вам писать придётся самому.

Ну это нужна 100 проценов какято специальная прога!

svc_host и Expert of Jazz ...Так кто из вас прав?