Точки на сфере, угол.

Считаем, что точки А и В заданы так: A(x0,y0,z0) и B(х1,у1,z1) — для которых длины векторов ОА и ОВ равны 10 и 15, соответственно. Соединив точки А и В, получим треугольник ОАВ (см. График).
Искомый УГОЛ φ это угол между АВ и плоскостью β, касательной к сфере R0 в точке А.
Проведём плоскость через плоскость треугольника ОАВ, тогда она пересечёт касательную плоскость β по прямой, перпендикулярной к ОА (красная линия на графике), и угол φ есть угол САВ.
Сторона АВ равна:
1) по теореме косинусов: АВ² = ОА² + ОВ² – 2*ОА*ОВ*cosα (*) (угол α это угол АОВ).
2) по координатам точек: АВ² = (х1-х0)² + (у1-у0)² + (z1-z0)² = |возводим в квадраты, «собираем» квадраты координат| = ОА² + ОВ² – 2*(х1*х0 + у1*у0 +z1*z0) (**).
Сравнивая (*) и (**), получаем:
ОА*ОВ*cosα = (х1*х0 + у1*у0 +z1*z0), откуда [учитывая, что ОА*ОВ = 10*15 = 150] получаем:
cosα = (х1*х0 + у1*у0 +z1*z0)/150.

ИТАК, знаем длины сторон треугольника ОАВ: 10, 15 и
АВ² = ОА² + ОВ² – 2*(х1*х0 + у1*у0 +z1*z0) (**), а также угол АОВ: cosα = (х1*х0 + у1*у0 +z1*z0)/150.
Тогда по теореме косинусов находим угол ОАВ:
cos(<OAB) = [ АВ² + ОА² – ОВ²]/300.
А искомый угол φ: φ = <ОАВ – 90°.
PS. Условие «угол вне 0°-180°» я понял так: угол φ расположен ВНE сферы R0.