Процедуру определения коэффициентов линейной регрессионной модели

Изучаете вы зависимость:
Y=Y(X)
Для некоторых X у вас есть известные Y (для примера возьмем три):
x1 x2 x3
y1 y2 y3
Предполагаете, что зависимость линейная:
Y = a X + b
Записываете величину, которую вы можете считать критерием того, насколько хорошо ваша прямая проходит через заданные точки:
S(a, b) = (a x1 + b - y1)^2 + (a x2 + b - y2)^2 + (a x3 + b - y3)^2
Видно, что если точки лягут на прямую, то S = 0, а если точки будут отдаляться от прямой, то S будет увеличиваться.
Теперь будете искать a и b, при котором S - минимально:
dS/da = 0
dS/db = 0
Обычный алгоритм поиска экстремума. Берете производные, получаете систему:
2 (x1 (a x1 + b - y1) + x2 (a x2 + b - y2) + x3 (a x3 + b - y3)) = 0
2 ((a x1 + b - y1) + (a x2 + b - y2) + (a x3 + b - y3)) = 0
Или:
(x1^2 + x2^2 + x3^2) a + (x1 + x2 + x3) b = x1 y1 + x2 y2 + x3 y3
(x1 + x2 + x3) a + 3 b = y1 + y2 + y3
То есть у вас система линейных уравнений для двух неизвестных. Находите из нее a и b, получаете вашу линейную модель.