Если извечно что |a|=|b| и а перпендик. b, то найдите косинус угла между а+2b и 2а+b (векторны над буквами)

Вектора а и b можно рассматривать ак декартову систему координат. Тогда новые вектора записываем как с=(1; 2), р=(2;1). cosX=(1*2+2*1)/(1^2+2^2)=4/5

Задачу можно решить чисто геометрически, не привлекая формулы, использующей скалярное произведение.
Если построить (схематически) все 4 вектора то видно, что искомый угол равен

90-2*ф, где ф - угол отклонения вектора 2*а+b от вектора а или, что одно и то же, угол отклонения вектора а+2*b от вектора b.

Косинус искомого угла равен cos(90-2*ф) =sin(2*ф) =2*sin(ф) *cos(ф) .

sin(ф) =b/c=а/с; cos(ф) =2*a/c, где с²=(2*а) ²+b²=4*a²+a²=5*а².

Окончательно, cos(90-2*ф) =2*(а/с) *(2*а/с) = 4*а²/с² = 4*а²/(5*а²)=4/5.