как найти модуль суммы векторов?

Пока что я не вижу тут векторов, зато вижу сумму (суммы) скаляров. То есть просто чисел.
Если ж это имеется в виду не просто "3-3+5", а 3i - 3j +5k, то надо для начала просто сложить вектора, как полагается (ну потрудитесь прочесть правила сложения векторов, заданных своими координатами.. . Честное слово, это ОЧЕНЬ просто) , а потом сосчитать модуль суммы по банальной теореме Пифагора.
Теорема косинусов тут никаким боком.