в действительных a и b все возможные ответы: (3a-2b-6)^2=a^2-b^2-9

Ответ: а=4,5, b=3.
Указание: раскрыть скобки, всё перенести налево и рассмотреть, как квадратное уравнение относительно, например, неизвестной "а". Тогда, D= - 4(b-3)^2>=0 => b=3. Дальше уже просто.