линейная алгебра..помогите

Короткая диагональ - это вектор а - b, а длинная - это вектор а + b. Так, как скалярное произведение векторов равно произведению их модулей на косинус угла между ними, то получим:
(a + b)*(a - b) = (-4m + 2n + m + 3n)*(-4m + 2n - m - 3n) = (-3m + 5n)*(-5m - n) = 15m*m + 3mn - 25mn - 5n*n = 15mm - 22mn - 5nn
скалярное произведение векторов m и m очевидно равно 1 т. к. это единичный вектор. Аналогично скалярное произведение векторов n и n тоже равно 1. Скалярное произведение векторов m и n найти легко, т. к. это единичные вектора и угол между ними Вам известен. Таким образом Вы найдете величину этого скалярного произведения. С другой стороны она равна:
(a + b)*(a - b) = |a + b|*|a - b|*cos((a + b)^(a - b))
или
cos((a + b)^(a - b)) = (a + b)*(a - b)/|a + b|*|a - b|
Таким образом, чтобы найти косинус Вам надо найти модули векторов (a + b) = (-3m + 5n) и (a - b) = (-5m - n) . Это делается легко. Вспомним (-3m + 5n) равен длине большой диагонали параллелограмма, построенного на векторах -3m и 5n. Угол между векторами Вы знаете, длину их тоже, теорема косинусов Вам поможет. (если непонятно сделайте рисунок - параллелограмм на векторах -3m и 5n и разделите его большой диагональю - все сами поймете. Не забудьте только что вектор -3m направлен противоположно вектору m, так что угол между векторами будет не 120 град а 180 - 120 = 60 град) .
А вот с (-5m - n) точно так же, только вспомните что (-5m - n) = -1*(5m + n). Остальное точь в точь как написано выше.
Успехов!

Заметим, что D1=a+b, D2=a-b и угол между ними
cos fi = D1*D2/|D1|*|D2|. Здесь * - символ скалярного умножения.
Это ФСЁ. Подробности http://www.nuru.ru/mat/geom.htm