Уравнение линейной регрессии

Если в регрессионном анализе рассматривается пара переменных – одна зависимая и одна независимая, то говорят о парной (простой) регрессии. Если независимых переменных более одной, то говорят о множественной регрессии. Парная регрессия удобна тем, что её можно отразить визуально на чертеже, и мы будем обращаться к ней именно с этой целью, хотя ясно, что реальные зависимости требуют рассмотрения множественной регрессии. В дальнейшем будем рассматривать только линейную регрессию, поскольку считается, что большую часть зависимостей при изучении социально-экономических явлений можно с определённой степенью точности описать линейными соотношениями, а если это не так, то с помощью определённых преобразований переменных свести к линейным.

Итак, уравнение множественной линейной регрессии в общем виде может быть записано так:

y = a + b₁x₁ + b₂x₂ + …+ b_mx_m + e,

где а – свободный член уравнения регрессии;

b_k – коэффициенты регрессии при переменных x_k;

e – отклонения фактических значений зависимой переменной от расчётных.

Если расчётные значения обозначить через , то

= a + b₁x₁ + …+ b_mx_m,

т.е. это те значения зависимых переменных, которые лежат на гиперплоскости, определяемой этим уравнением (в двумерном случае – на линии регрессии). Тогда имеем: y = + e или e = y – . Отметим, что а и b_k (k = ) не параметры уравнения регрессии, а их оценки, получаемые обычно на основе метода наменьших квадратов (МНК). Суть МНК состоит в определении оценок параметров уравнения регрессии (свободного члена и коэффициентов регрессии) из условия минимизации , т.е. чтобы в среднем расчётные значения как можно меньше отличались бы от эмпирических y_i. Реализация этого метода в случае парной регрессии: y = a + bx + e даёт следующие вычислительные формулы для оценок параметров этого уравнения:

(9.1)

Для реализации МНК необходимо, чтобы относительно остатков e выполнялись следующие предпосылки:

1) e является случайной величиной, имеющей нормальный закон распределения;

2) ожидаемое значение e равно нулю;

3) дисперсия e постоянна;

4) значения e не зависят друг от друга.

Оценки МНК в случае выполнения перечисленных предпосылок являются несмещёнными, состоятельными и эффективными. Если 3) и 4) нарушены, то первые два свойства сохраняются, но оценки становятся менее эффективными.

Свободный член уравнения регрессии (а) обычно не интерпретируется, а коэффициенты уравнения регрессии (b_k) показывают, насколько изменится значение зависимой переменной, если значение соответствующей независимой переменной (x_k) изменится на единицу при фиксированных значениях других. Но это так, если выполняется основная предпосылка регрессионного анализа – независимость между собой независимых переменных. В случае же мультиколлинеарности смысл коэффициентов уравнения регрессии вообще искажается. К этому мы ещё вернёмся, а сейчас отметим, что коэффициенты уравнения регрессии, как и всякие абсолютные показатели, не могут быть использованы в сравнительном анализе, если единицы измерения соответствующих переменных различны. Например, если y – расходы семьи на питание, х₁ – размер семьи, а х₂ – общий доход семьи и мы определяем зависимость типа

y = a + b₁x₁ + b₂x₂ + e и b₂ > b₁, то это не значит, что y₂ сильнее влияет на y, чем х₁, т.к. b₂ – это изменение расходов семьи при изменении доходов на 1 руб., а b₁ – изменение расходов при изменении размера семьи на 1 человека.

Сопоставимость коэффициентов уравнения регрессии достигается при рассмотрении стандартизованного уравнения регрессии:

y⁰ = b₁x₁⁰ + b₂x₂⁰ + … + b_mx_m⁰ + e,

где y⁰ и x⁰_k – стандартизованные значения переменных y и x_k:

где S_y и S_xk – стандартные отклонения y и x_k, а b_k – b-коэффициенты уравнения регрессии, которые показывают, на какую часть своего стандартного отклонения S_y изменится зависимая переменная y, если независимая переменная x_k изменится на величину своего стандартного отклонения S_xk.

b-коэффициенты уравнения регрессии создают реальное представление о воздействии независимых переменных на моделируемый показатель. Если величина b-коэффициента превышает значение соответствующего парного коэффициента корреляции, то влияние зависимой переменной на y следует признать значимым. Кроме того, совпадение знаков при парных коэффициентах корреляции и b-коэффициентах логически подтверждает правильность включения выбранных показателей в модель. Для получения стандартизованного уравнения регрессии рекомендуется использовать МНК к стандартизованным переменным, а не пересчитывать коэффициенты по указанной формуле.

Наравне с b-коэффициентами для анализа воздействия показателей, включённых в уравнение регрессии, на моделируемый признак, используются коэффициенты эластичности:

которые показывают, на сколько процентов изменится зависимая переменная, если соответствующая независимая переменная изменится на один процент.