МНК для множественной регрессии

Параметры уравнения множественной регрессии оцениваются, как и в парной регрессии, с помощью метода наименьших квадратов. При его применении должна минимизироваться остаточная сумма квадратов отклонений фактических величин от тeopeтических. Для уравнения множественной регрессии y = a +b₁x₁ + b₂x₂ + … + b_px_p + ε это выглядит следующим образом:

Q = Σ (y- y_x)² = Σ (y – (a +b₁x₁ + b₂x₂ + … + b_px_p))²→min

В данном случае неизвестными являются параметры регрессии а, b₁, b₂, …, b_р. Чтобы их найти, продифференцируем остаточную сумму квадратов отклонений по этим переменным и приравниваем их к нулю. В итоге строится система нормальных уравнений, решение которой и позволяет получить оценки параметров регрессии:

Σу = пa +b₁Σx₁ + b₂Σx₂ + … + b_pΣx_p

Σуx₁ = aΣx₁ +b₁Σx₁² + b₂Σx₂x₁ + … + b_pΣx_px₁

………………………………………………………

Σуx_p = aΣx_p +b₁Σx₁x_p + b₂Σx₂x_p + … + b_pΣx_p²

Эта система может быть решена с помощью метода определителей:

a = Δ a/ Δ, b₁ = Δ b₁/ Δ, b₂ = Δ b₂/ Δ, …, b_p = Δ b_p/ Δ

Здесь определитель системы

n Σx₁ Σx₂... Σx_p

Σx₁ Σx₁² Σx₂x₁ ... Σx_px₁

Δ = Σx₂ Σx₁x₂ Σx₂² … Σx_px₂,

… … … … …

Σx_p Σx₁x_p Σx₂x_p … Σx_p²

а частичные определителиΔ a, Δ b₁, Δ b₂, …, Δ b_p получаются в результате замены соответствующего столбца матрицы определителя системы данными из ее левой части, например:

Σу Σx₁ Σx₂... Σx_p

Σуx₁ Σx₁² Σx₂x₁ ... Σx_px₁

Δa = Σyx₂ Σx₁x₂ Σx₂² … Σx_px₂

… … … … …

Σyx_p Σx₁x_p Σx₂x_p … Σx_p²