Как настроить аудиовыходы так, что бы звук из одной программы шел на передние динамики, а из другой на наушники?

Никак
В ПК идёт приоритет на передние выходы (если в их подключено АУДИО устройство (наушники, колонки) ) и звук будет только в передних аудиовыходах