Помогите по геометрии!

Координаты вектора - это разность координат его конца и начала (именно в таком порядке) . Так что у вас всё правильно написано. С длиной тоже всё правильно.
Ну а косинус - вспомните "школьное" определение скалярного произведения (произведение длин уножить на косинус угла между векторами) и сравните его с определением скалярного произведения через координаты...