Предпосылки МНК

1. Математическое ожидание случайного отклонения ε_i равно 0 для всех наблюдений (M(ε_i) = 0).

2. Гомоскедастичность (постоянство дисперсий отклонений). Дисперсия случайных отклонений ε_i постоянна: D(ε_i) = D(ε_j) = S² для любых i и j.

3. отсутствие автокорреляции.

4. Случайное отклонение должно быть независимо от объясняющих переменных: Y_eixi = 0.

5. Модель является линейное относительно параметров.

6. отсутствие мультиколлинеарности. Между объясняющими переменными отсутствует строгая (сильная) линейная зависимость.

7. Ошибки ε_i имеют нормальное распределение. Выполнимость данной предпосылки важна для проверки статистических гипотез и построения доверительных интервалов.

Эмпирическое уравнение множественной регрессии представим в виде:

Y = b₀ + b₁X₁ + b₁X₁ +... + b_mX_m + e

Здесь b₀, b₁,..., b_m - оценки теоретических значений β₀, β₁, β₂,..., β_m коэффициентов регрессии (эмпирические коэффициенты регрессии); e - оценка отклонения ε.

При выполнении предпосылок МНК относительно ошибок ε_i, оценки b₀, b₁,..., b_m параметров β₀, β₁, β₂,..., β_m множественной линейной регрессии по МНК являются несмещенными, эффективными и состоятельными (т.е. BLUE-оценками).

Для оценки параметров уравнения множественной регрессии применяют МНК.

1. Оценка уравнения регрессии.

Определим вектор оценок коэффициентов регрессии. Согласно методу наименьших квадратов, вектор s получается из выражения:

s = (X^TX)^-1X^TY

Матрица X

Матрица Y

Матрица X^T

Умножаем матрицы, (X^TX)

В матрице, (X^TX) число 20, лежащее на пересечении 1-й строки и 1-го столбца, получено как сумма произведений элементов 1-й строки матрицы X^T и 1-го столбца матрицы X

Умножаем матрицы, (X^TY)

Находим обратную матрицу (X^TX)^-1

Вектор оценок коэффициентов регрессии равен

Y(X) = (X^TX)^-1X^TY =

Уравнение регрессии (оценка уравнения регрессии)

Y = -480.55-0.44X₁ + 0.073X₂-14.22X₃ + 3.06X₄

2. Матрица парных коэффициентов корреляции.

Число наблюдений n = 20. Число независимых переменных в модели равно 4, а число регрессоров с учетом единичного вектора равно числу неизвестных коэффициентов. С учетом признака Y, размерность матрицы становится равным 6. Матрица, независимых переменных Х имеет размерность (20 х 6).

Матрица, составленная из Y и X

Транспонированная матрица.

Матрица A^TA.

Полученная матрица имеет следующее соответствие:

Найдем парные коэффициенты корреляции.

Матрица парных коэффициентов корреляции.

Коллинеарность – зависимость между факторами. В качестве критерия мультиколлинеарности может быть принято соблюдение следующих неравенств:

r(x_jy) > r(x_kx_j); r(x_ky) > r(x_kx_j).

Если одно из неравенств не соблюдается, то исключается тот параметр x_k или x_j, связь которого с результативным показателем Y оказывается наименее тесной.

Для отбора наиболее значимых факторов x_i учитываются следующие условия:

- связь между результативным признаком и факторным должна быть выше межфакторной связи;

- связь между факторами должна быть не более 0.7. Если в матрице есть межфакторный коэффициент корреляции r_xjxi > 0.7, то в данной модели множественной регрессии существует мультиколлинеарность.;

- при высокой межфакторной связи признака отбираются факторы с меньшим коэффициентом корреляции между ними.

Если факторные переменные связаны строгой функциональной зависимостью, то говорят о полной мультиколлинеарности. В этом случае среди столбцов матрицы факторных переменных Х имеются линейно зависимые столбцы, и, по свойству определителей матрицы, det(X^TX = 0).

Вид мультиколлинеарности, при котором факторные переменные связаны некоторой стохастической зависимостью, называется частичной. Если между факторными переменными имеется высокая степень корреляции, то матрица (X^TX) близка к вырожденной, т. е. det(X^TX ≧ 0) (чем ближе к 0 определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии).

Вычисление определителя показано в шаблоне решения Excel

В нашем случае r_{x1 x2} , r_{x1 x3} , r_{x1 x4} , r_{x2 x3} , r_{x2 x4} , r_{x3 x4} имеют |r|>0.7, что говорит о мультиколлинеарности факторов и о необходимости исключения одного из них из дальнейшего анализа.

Анализ первой строки этой матрицы позволяет произвести отбор факторных признаков, которые могут быть включены в модель множественной корреляционной зависимости. Факторные признаки, у которых |r_yxi| < 0.5 исключают из модели. Можно дать следующую качественную интерпретацию возможных значений коэффициента корреляции (по шкале Чеддока): если |r|>0.3 – связь практически отсутствует; 0.3 ≤ |r| ≤ 0.7 - связь средняя; 0.7 ≤ |r| ≤ 0.9 – связь сильная; |r| > 0.9 – связь весьма сильная.

Проверим значимость полученных парных коэффициентов корреляции с помощью t-критерия Стьюдента. Коэффициенты, для которых значения t-статистики по модулю больше найденного критического значения, считаются значимыми.

Рассчитаем наблюдаемые значения t-статистики для r_yx1 по формуле:

где m = 1 - количество факторов в уравнении регрессии.

По таблице Стьюдента находим Tтабл

t_крит(n-m-1;α/2) = (18;0.025) = 2.101

Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим

Рассчитаем наблюдаемые значения t-статистики для r_yx2 по формуле:

Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим

Рассчитаем наблюдаемые значения t-статистики для r_yx3 по формуле:

Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим

Рассчитаем наблюдаемые значения t-статистики для r_yx4 по формуле:

Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим

Таким образом, связь между (y и x_x1 ), (y и x_x2 ), (y и x_x3 ), (y и x_x4 ) является существенной.

Наибольшее влияние на результативный признак оказывает фактор x₂ (r = 0.97), значит, при построении модели он войдет в регрессионное уравнение первым.

Частные коэффициенты корреляции.

Коэффициент частной корреляции отличается от простого коэффициента линейной парной корреляции тем, что он измеряет парную корреляцию соответствующих признаков (y и x_i) при условии, что влияние на них остальных факторов (x_j) устранено.

На основании частных коэффициентов можно сделать вывод об обоснованности включения переменных в регрессионную модель. Если значение коэффициента мало или он незначим, то это означает, что связь между данным фактором и результативной переменной либо очень слаба, либо вовсе отсутствует, поэтому фактор можно исключить из модели.

Теснота связи низкая.

Определим значимость коэффициента корреляции r_{yx1 /x2} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

где k = 1 - число фиксируемых факторов.

По таблице Стьюдента находим Tтабл

t_крит(n-k-2;α/2) = (17;0.025) = 2.11

Поскольку t_набл < t_крит, то принимаем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - не значим

Как видим, связь y и x₁ при условии, что x₂ войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₁ остается нецелесообразным.

Теснота связи сильная

Определим значимость коэффициента корреляции r_{yx1 /x3} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим

Как видим, связь y и x₁ при условии, что x₃ войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₁ остается нецелесообразным.

Теснота связи сильная

Определим значимость коэффициента корреляции r_{yx1 /x4} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим

Как видим, связь y и x₁ при условии, что x₄ войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₁ остается нецелесообразным.

Теснота связи сильная

Определим значимость коэффициента корреляции r_{yx2 /x1} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим

Как видим, связь y и x₂ при условии, что x₁ войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₂ остается нецелесообразным.

Теснота связи сильная

Определим значимость коэффициента корреляции r_{yx2 /x3} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим

Как видим, связь y и x₂ при условии, что x₃ войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₂ остается нецелесообразным.

Теснота связи сильная

Определим значимость коэффициента корреляции r_{yx2 /x4} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим

Как видим, связь y и x₂ при условии, что x₄ войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₂ остается нецелесообразным.

Теснота связи низкая.

Определим значимость коэффициента корреляции r_{yx3 /x1} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

Поскольку t_набл < t_крит, то принимаем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - не значим

Как видим, связь y и x₃ при условии, что x₁ войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₃ остается нецелесообразным.

Теснота связи низкая.

Определим значимость коэффициента корреляции r_{yx3 /x2} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

Поскольку t_набл < t_крит, то принимаем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - не значим

Как видим, связь y и x₃ при условии, что x₂ войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₃ остается нецелесообразным.

Теснота связи умеренная

Определим значимость коэффициента корреляции r_{yx3 /x4} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим

Как видим, связь y и x₃ при условии, что x₄ войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₃ остается нецелесообразным.

Теснота связи низкая.

Определим значимость коэффициента корреляции r_{yx4 /x1} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

Поскольку t_набл < t_крит, то принимаем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - не значим

Как видим, связь y и x₄ при условии, что x₁ войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₄ остается нецелесообразным.

Теснота связи низкая.

Определим значимость коэффициента корреляции r_{yx4 /x2} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

Поскольку t_набл < t_крит, то принимаем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - не значим

Как видим, связь y и x₄ при условии, что x₂ войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₄ остается нецелесообразным.

Теснота связи умеренная

Определим значимость коэффициента корреляции r_{yx4 /x3} .

Для этого рассчитаем наблюдаемые значения t-статистики по формуле:

Поскольку t_набл > t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим

Как видим, связь y и x₄ при условии, что x₃ войдет в модель, снизилась. Отсюда можно сделать вывод, что ввод в регрессионное уравнение x₄ остается нецелесообразным.

Можно сделать вывод, что при построении регрессионного уравнения следует отобрать факторы x₁, x₂, x₃, x₄.

Модель регрессии в стандартном масштабе.

Модель регрессии в стандартном масштабе предполагает, что все значения исследуемых признаков переводятся в стандарты (стандартизованные значения) по формулам:

где х_ji - значение переменной х_ji в i-ом наблюдении.

Таким образом, начало отсчета каждой стандартизованной переменной совмещается с ее средним значением, а в качестве единицы изменения принимается ее среднее квадратическое отклонение S.

Если связь между переменными в естественном масштабе линейная, то изменение начала отсчета и единицы измерения этого свойства не нарушат, так что и стандартизованные переменные будут связаны линейным соотношением:

t_y = ∑β_jt_xj

Для оценки β-коэффциентов применим МНК. При этом система нормальных уравнений будет иметь вид:

r_x1y=β₁+r_x1x2•β₂ +... + r_x1xm•β_m

r_x2y=r_x2x1•β₁ + β₂ +... + r_x2xm•β_m

...

r_xmy=r_xmx1•β₁ + r_xmx2•β₂ +... + β_m

Для наших данных (берем из матрицы парных коэффициентов корреляции):

0.916 = β₁ + 0.947β₂ + 0.839β₃ -0.874β₄

0.975 = 0.947β₁ + β₂ + 0.856β₃ -0.865β₄

0.83 = 0.839β₁ + 0.856β₂ + β₃ -0.758β₄

-0.832 = -0.874β₁ -0.865β₂ -0.758β₃ + β₄

Данную систему линейных уравнений решаем методом Гаусса: β₁ = -0.0527; β₂ = 1.061; β₃ = -0.0105; β₄ = 0.0313;

Стандартизированная форма уравнения регрессии имеет вид:

y⁰ = -0.0527x₁ + 1.061x₂ -0.0105x₃ + 0.0313x₄

Найденные из данной системы β–коэффициенты позволяют определить значения коэффициентов в регрессии в естественном масштабе по формулам:

3. Анализ параметров уравнения регрессии.

Перейдем к статистическому анализу полученного уравнения регрессии: проверке значимости уравнения и его коэффициентов, исследованию абсолютных и относительных ошибок аппроксимации

Для несмещенной оценки дисперсии проделаем следующие вычисления:

Несмещенная ошибка ε = Y - Y(x) = Y - X*s (абсолютная ошибка аппроксимации)

Средняя ошибка аппроксимации

Оценка дисперсии равна:

s_e² = (Y - X*Y(X))^T(Y - X*Y(X)) = 58665.94

Несмещенная оценка дисперсии равна:

Оценка среднеквадратичного отклонения равна (стандартная ошибка для оценки Y):

Найдем оценку ковариационной матрицы вектора k = S • (X^TX)^-1

Дисперсии параметров модели определяются соотношением S²_i = K_ii, т.е. это элементы, лежащие на главной диагонали

Показатели тесноты связи факторов с результатом.

Если факторные признаки различны по своей сущности и (или) имеют различные единицы измерения, то коэффициенты регрессии b_j при разных факторах являются несопоставимыми. Поэтому уравнение регрессии дополняют соизмеримыми показателями тесноты связи фактора с результатом, позволяющими ранжировать факторы по силе влияния на результат.

К таким показателям тесноты связи относят: частные коэффициенты эластичности, β–коэффициенты, частные коэффициенты корреляции.

Частные коэффициенты эластичности.

С целью расширения возможностей содержательного анализа модели регрессии используются частные коэффициенты эластичности, которые определяются по формуле:

Частный коэффициент эластичности показывает, насколько процентов в среднем изменяется признак-результат у с увеличением признака-фактора х_j на 1% от своего среднего уровня при фиксированном положении других факторов модели.

Частный коэффициент эластичности |E₁| < 1. Следовательно, его влияние на результативный признак Y незначительно.

Частные коэффициент эластичности |E₂| > 1. Следовательно, он существенно влияет на результативный признак Y.

Частный коэффициент эластичности |E₃| < 1. Следовательно, его влияние на результативный признак Y незначительно.

Частные коэффициент эластичности |E₄| > 1. Следовательно, он существенно влияет на результативный признак Y.

Стандартизированные частные коэффициенты регрессии.

Стандартизированные частные коэффициенты регрессии - β-коэффициенты (β_j) показывают, на какую часть своего среднего квадратического отклонения S(у) изменится признак-результат y с изменением соответствующего фактора х_j на величину своего среднего квадратического отклонения (S_хj) при неизменном влиянии прочих факторов (входящих в уравнение).

По максимальному β_j можно судить, какой фактор сильнее влияет на результат Y.

По коэффициентам эластичности и β-коэффициентам могут быть сделаны противоположные выводы. Причины этого: а) вариация одного фактора очень велика; б) разнонаправленное воздействие факторов на результат.

Коэффициент β_j может также интерпретироваться как показатель прямого (непосредственного) влияния j -ого фактора (x_j) на результат (y). Во множественной регрессии j -ый фактор оказывает не только прямое, но и косвенное (опосредованное) влияние на результат (т.е. влияние через другие факторы модели).

Косвенное влияние измеряется величиной: ∑β_ir_xj,xi, где m - число факторов в модели. Полное влияние j-ого фактора на результат равное сумме прямого и косвенного влияний измеряет коэффициент линейной парной корреляции данного фактора и результата - r_xj,y.

Так для нашего примера непосредственное влияние фактора x₁ на результат Y в уравнении регрессии измеряется β_j и составляет -0.05272757539468; косвенное (опосредованное) влияние данного фактора на результат определяется как:

r_x1x2β₂ = 0.947429190731 * 1.0607916829853 = 1.005

Сравнительная оценка влияния анализируемых факторов на результативный признак.

5. Сравнительная оценка влияния анализируемых факторов на результативный признак производится:

- средним коэффициентом эластичности, показывающим на сколько процентов среднем по совокупности изменится результат y от своей средней величины при изменении фактора x_i на 1% от своего среднего значения;

- β–коэффициенты, показывающие, что, если величина фактора изменится на одно среднеквадратическое отклонение S_xi, то значение результативного признака изменится в среднем на β своего среднеквадратического отклонения;

- долю каждого фактора в общей вариации результативного признака определяют коэффициенты раздельной детерминации (отдельного определения): d²_i = r_yxiβ_i.

d²₁ = 0.92 • (-0.0527) = -0.0483

d²₂ = 0.97 • 1.061 = 1.03

d²₃ = 0.83 • (-0.0105) = -0.00873

d²₄ = -0.83 • 0.0313 = -0.026

При этом должно выполняться равенство:

∑d²_i = R² = 0.95