Свойства оценок, полученных методом наименьших квадратов (МНК)

Зависимая переменная в теоретической модели регрессии

имеет две составляющие: неслучайную составляющую

и случайную составляющую . Получаемые с помощью МНК оценки коэффициентов регрессии также можно представить в виде двух составляющих – неслучайной и случайной.

Неслучайные составляющие оценок равны параметрам , тогда как случайные составляющие этих оценок зависят от случайной составляющей теоретической модели регрессии .

На практике разложить коэффициенты регрессии на составляющие довольно затруднительно, так как значения и неизвестны.

Регрессионный анализ, основанный на применении метода наименьших квадратов (МНК), дает наилучшие из всех возможных результаты, если выполняются следующие условия (называемые условиями Гаусса-Маркова):

1. Математическое ожидание случайного слагаемого в любом м наблюдении должно быть равно нулю – .

2. Дисперсия случайного слагаемого должна быть постоянной для всех наблюдений – , где теоретическое значение среднеквадратической ошибки.

3. Случайные слагаемые должны быть статистически независимы, т.е. должно выполняться свойство некоррелированности их между собой.

4. Объясняющие переменные должны быть величинами неслучайными.

При выполнении условий Гаусса-Маркова модель

называется классической нормальной линейной регрессионной моделью.

Если условия Гаусса-Маркова не выполнены, то можно найти другие оценки параметров уравнения регрессии, которые будут более эффективными по сравнению с оценками, найденными методом МНК.