Как найти целые значения А и В при коэффициенте (см. фото)?

Легче всего подбором, т. к. а и в обычно небольшие числа. Здесь а=2; в=1.
А вообще раскрывают скобки :
(a*sqrt2 + b*sqrt3)^2=2a^2+3b^2 + 2ab*sqrt6
и приравнивают коэффициенты:
{ 2a^2+3b^2=11,
{ 2ab=4;
откуда а=2; в=1.

Нужны все целые а и в? При необходимости (надо смотреть задание) пара а=-2; в=-1 тоже подходит.