Простите мне мою необразованность, но как привести данную квадратичную форму к каноническому виду: 4*x^2 6*x*y 4y^2

Для начала её нужно хотя бы правильно записать.
Каноническая форма получится, если мы выделим полный квадрат и уберём член с ху.
Например, для 4*x^2 +6*x*y+ 4y^2 это будет так:

в общем виде делается с помощью операций над матрицами