Модель множественной регрессии

Обобщением двумерной или парной линейной регрессии служит многомерная линейная регрессия

-уравнение многомерной линейной регрессии,

где

Основные гипотезы:

1)

спецификация модели - вид, линейный по параметрам

2) - не зависит от t

3) - независимые параметры;y– зависимый

4)

Запишем это уравнение в матричной форме

Построить такое уравнение регрессии означает найти оценку параметра, т.е. оценку вектора а.

По теореме Маркова-Гаусса если выполняются основные гипотезы 1,2,3,4, то можно применить метод наименьших квадратов, с помощью которого получится следующее уравнение:

, где - икс транспонированный

Т.к. мы находим оценки коэффициентов, а не их истинное значение, то нам хотелось бы оценить точность оценивания.

Она связана с вариацией оценки, т.е. с дисперсией: чем больше дисперсия, тем меньше точность и больше вариация. Тогда:

(**)

Используя правила перемножения матриц, получаем:

Замечание: из формулы (**) видно, что чем больше параметров, тем больше дисперсия. Поэтому мы выбираем максимально простую модель.

Оценивание качества многомерной линейной регрессии осуществляется так же, как и двумерной, но следует помнить, что растет с увеличением параметров, поэтому с помощью можно сравнивать только модели с одинаковым количеством зависимых параметров.

Спецификация модели

Под спецификацией понимают выбор параметров регрессии . Т.к. на практике исследуется приближенная модель, рассмотрим соотношение между МНК-оценками параметров выбранной и истинной модели.

Рассмотрим два случая:

1) Исключение. В модель не включали существенные параметры. Тогда оценивается модель,

где z - часть существенных параметров.

Мы оцениваем

- истинная оценка

Найдем математическое ожидание полученной оценки

Получаем смещенные оценки, т.е. оценка не такая хорошая, но можно показать, что ее дисперсия будет меньше.