не могу понять откуда берется формула для векторного произведения через определитель

Определение векторного произведения не такое. Координаты векторного произведения есть вычисленные значения в результате задания векторов своими координатами. Иными словами, первично именно определение векторного произведения, которое звучит так: это вектор, который удовлетворяет трём следующим условиям:

1) Модуль векторного произведения равен произведению модулей каждого из векторов на синус угла между ними.
2) Этот вектор перпендикулярен (ортогонален) каждому из двух данных векторов.
3) Первый вектор, второй вектор и векторное произведение, взятые именно в этой последовательности, образуют правую тройку векторов, т. е. векторное произведение направлено туда, откуда кратчайший поворот т первого вектора ко второму виден совершающимся против часовой стрелки.

Таким образом, для любых двух векторов определено векторное произведение, притом единственным образом.

Вторичным же являются координаты векторного произведения, которые вычисляются, исходя из свойств векторного произведения, которые, в свою очередь, следуют именно из его определения. Однако не непосредственно, а через т. н. таблицу векторного умножения векторов. В этой таблице перемножаются всевозможным способом три базисных вектора: i, j, k.
Всего таких произведений 9. Например, i x i = 0, i x j = k, k x j = -i и т. д. Всё это следует из определения. Для упрощения тут можно применить сво-во антикоммутативности: p x q = -q x p.
Например, если i x j = k, то j x i = -k и т. д.
Далее два вектора p и q раскладывают по базису

p = ai + bj + ck
q = xi + yj + zk

и перемножают их векторно

p x q = (ai + bj + ck) x (xi + yj + zk)

Раскрыть скобки нам позволяет свойство дистрибутивности по сложению:
(p + q) x r = p x r + q x r

Так что мы можем записать

ai x (xi + yj + zk) +
+ bj x (xi + yj + zk) +
+ ck x (xi + yj + zk)

В каждом слагаемом мы также можем раскрыть скобки и получить уже сумму девяти векторных произведений.

Ещё одно свойство векторного произведения, свойство ассоциативности относительно умножения на скаляр, позволяет нам представить эти девять произведений в ином виде.
Например, первое такое произведение ai x xi можно представить как (ax) * i x i. По таблице векторного умножения, это будет 0.
Таким же образом, можно преобразовать каждое векторное произведения. Впоследствии окажется, что полученные произведения представляют собой скаляр, умноженный на табличное векторное произведение. Таким образом, мы приходим к формуле:

p x q = i * (bz-cy) - j *(az-cx) + k * (ay-bx) .

Сопоставляя эту формулу с определителем

i j k
a b с
x y z

т. е. раскрывая этот определитель по определению, убеждаемся, что разложение векторного произведения по базису в точности равно этому определителю, поэтому формулу для вычисления координат векторного произведения записывают в виде определителя, потому что так компактнее. Собственно, это - одна из причин, по которой потребовалось ввести понятие определителя.

Физический смысл векторного произведения - что это вектор, который 1) перпендикулярен плоскости, образованной векторами-сомножителями, и 2) модуль которого численно равен произведению молулей сомножителей на синус угла между ними.
И вот если ЭТО определение попытаться представить через координаты, то ТОГДА и получится вот такой определитель.

Ну, как вариант: определим единственным образом! векторное произведение, как вектор, линейно зависящий от каждого из сомножителей, заданный на ортах системой равенств [i,k]=j, [i,j]=-k, [j,k]=i, [x,y]= - [y,x].
Вполне естественное определение. И остается только проверить, что определитель воспроизводит эти отношения