Подскажите пожалуйста, в каком порядке умножать векторы и как (векторно, скалярно, смешано)?

Думаю, речь об этом: https://ru.wikipedia.org/wiki/Смешанное_произведение

Тем более во многих остальных вариантах речь идет об объеме параллелепипида либо компланарности. На смешанное произведение очень похоже. Но вообще в каждом учебнике своя система обозначений векторных и скалярных произведений может быть. Есть неколько более-менее стандартных систем обозначений, но их больше одной штуки.