Как найти область определения этой функции?

под корнем должно стоять положительное число (не 0, т. к. стоит в знаменателе)
найдешь отрезок (а, в) , где трехчлен отрицателен и равен 0
ответ (-бесконечность, а) и (в, +бесконечность)

область определения - все значения, которые может принимать Х. В вашем случае Х - любой, кроме тех, при которых знаеменатель равен 0.
находим Х при которых знаменатель равен 0.
Значит 5Х^2+11Х+6 = 0
Д =121-4*6*5=1
Х1=(-11-1)/10=-1,2
Х2= (-11+1)/10=-1
То есть Х любой кроме -1 и -1,2

(-inf;-1.2) u(-1.2;-1) u(-1;+inf)