Побудова регресійних моделей

Це стосується побудови лінійної регресійної моделі з одним аргументом, тобто y(x₁), в першій задачі, нелінійної регресії – в другій та лінійної регресійної моделі y(x₁,x₂) - в третій задачі. Розглянемо методику отримання цих моделей.

Математична лінійна регресійна модель y(x) має вигляд:

y(x) = b_o + b₁·x, (1)

де b_o - вільний член, b₁ - коефіцієнт впливу x на y. В завданні, що пропонується студенту, необхідно чисельно визначити значення b_o та b₁.

На площині yx наносяться точки i (), де N - число виборок, які відповідають значенням y_i та x_i. На отриманому полі, що називається кореляційним, проводиться пряма лінія y(x) таким чином, щоб відхилення y_i від цієї лінії відповідали умові:

U = [y_i - y(x_i)]² = min, (2)

де y(x_i) - значення y (теоретичні), отримані з допомогою (1) при підстановці в цю формулу x = x_i.

Особливо відмітимо, що пряма y(x) зовсім необов'язково повинна проходити через будь-яку експериментальну точку y_i, але сума квадратів відхилень yi від y(x_i) при цьому має бути мінімальною. Якщо вираз у формулі (2) поділити на N, то ми отримаємо більш зрозумілу умову:

U' = [y_i - y(x_i)]² = min (3)

у вигляді вимоги забезпечення мінімуму дисперсії відхилень y_i відносно лінійної математичної регресійної моделі y(x). Тому цей метод пошуку оптимального розташування y(x) на регресійному полі має назву "метод мінімізації середнього квадрату" або "метод мінімізації дисперсії відхилень".

Щоб забезпечити умову (2), необхідно взяти похідну від U по параметрам a та b, прирівняти її нулю; тоді отримані значення a та b відповідатимуть умові (2) або (3).

Отже:

U = [y_i - (b_o + b₁·x)]²;

звідси отримаємо наступні рівняння, що підлягають нормальному розв'язку:

(4)

Розв'язок цієї системи відносно b_о та b₁ здійснюється за допомогою правил Крамера чи Дулітла, в результаті чого отримаємо наступні формули:

(5)

Якщо помножити вираз у формулі (5) для b₁ на (-1) та поділити чисельник і знаменник на N, то можна отримати іншу форму запису цієї формули, більш зручну для користування.

(6)

Після закінчення розрахунків b_о та b₁ проводиться перевірка гіпотези про лінійність зв'язку між y та x за допомогою коефіцієнта лінійної кореляції R (як оцінити отриману модель на адекватність статистичним даним покажемо на прикладі двофакторної лінійної регресії):

(7)

Чим ближче значення /R/ до одиниці, тим вірогідніша лінійність y(x). При цьому знак R визначається знаком коефіцієнта b₁ (якщо b₁>0, то і R > 0 і навпаки). Вважається, що лінійна модель якнайкраще описує досліджуваний процес, якщо /R/≥ 0,7.

Зведення нелінійної регресії до лінійної. Наприклад, вигляд розташування точок на кореляційному полі нагадує форму деяких нелінійних функцій:

а) гіперболічна функція

Необхідні перетворення: вводимо заміну і отримуємо лінійну форму гіперболічної функції ;

б) експоненційна функція

Аналогічно: .

Подібні перетворення інших функцій зводяться в таблицю, наведену у завданні для самостійних робіт на побудову нелінійних регресій. Отримавши лінійну форму і застосувавши до неї метод найменших квадратів і табличний перехід до нелінійних параметрів регресії, матимемо нелінійну регресію.

Математична модель, що є лінійною моделлю з двома змінними (факторами) y(x₁;x₂), має вигляд:

y = b_o + b₁·x₁ + b₂·x₂. (8)

Зробивши висновки, аналогічні для моделі y(x), можна отримати систему рівнянь відносно невідомих коефіцієнтів b_o, b₁, b₂ у вигляді:

(x'_1i)² b₁ + (x'_1ix'_2i)b₂ = (x'_1iy'_i)

(x'_2ix'_1i)b₁ + (x'_2i)² b₂ = (x'_2iy'_i) (9)

де:

x'_1iy'_i = (x_1iy_i) – N (10)

(x'_1i)² = (x_1i)² – N()² (11)

x'_2iy'_i = (x_2iy_i) – N (12)

x'_1ix'_2i = (x_1ix_2i) –N (13)

(x'_2i)² = (x_2i)² – N ()² (14)

Після того, як величини, що входять в формули (10) - (14) розраховані, розв'язується система рівнянь (9) відносно b_o, b₁, b₂ за допомогою правила Крамера.

Коефіцієнт b₁ в моделі y = b_o + b₁x₁ носить назву "повний коефіцієнт регресії", який відображає вплив x₁ на y без урахування впливу x₂ на y (цей вплив враховується певним чином в значенні b₁).

Напроти, коефіцієнт b₁ в моделі y = b_o + b₁·x₁ + b₂·x₂ носить назву "частинний коефіцієнт регресії" (іноді - "чистий коефіцієнт регресії"), який відображає тільки вплив x₁ на y, виключаючи повністю вплив x₂ на y. Те ж саме стосується коефіцієнта b₂. Тому потрібно пам'ятати, що врахування найбільшої (в розумних межах) кількості змінних поліпшує точність оцінки впливу кожної з розглянутих змінних.

Аналіз отриманих моделей.

Для оцінки моделей з багатьма змінними, а також з однією змінною, застосовуються наступні показники варіації:

1) Загальна дисперсія:

(15)

2) Факторна дисперсія, що відображує вплив тільки тих змінних, які розглядаються:

(16)

3) Залишкова дисперсія (дисперсія помилок моделі):

(17)

або в більш спрощеному вигляді

(18)

Відношення

(19)

називається коефіцієнтом детермінації (у випадку лінійної множинної регресії) або індексом детермінації (у випадку нелінійної множинної регресії). Фізично він характеризує частку впливу вибраних змінних х_j в загальній варіації у.

(20)

де R – коефіцієнт множинної кореляції (або індекс кореляції для нелінійної регресії). Значення цього коефіцієнта, розрахованого за даною формулою (21), співпадає зі значенням R, розрахованим за формулою (9) для лінійної парної регресії. З урахуванням того, що , маємо ще одну розрахункову формулу:

(21)

тобто коефіцієнт кореляції розраховується по дисперсії помилок моделі і по загальній дисперсії . Розглянемо даний матеріал на конкретному прикладі.

Приклад. Визначити регресійну модель впливу капіталовкладень в розвиток виробництва (х₁), розміру основного капіталу (х₂) ті чисельності працюючих (х₃) на прибуток, який отримає підприємство після року своєї діяльності, (у). Експериментальні дані отримані в результаті огляду семи аналогічних підприємств і занесені в таблицю (N=7).

Проведемо послідовний аналіз впливу:

1) капіталовкладень х₁ на прибуток у (перша модель); 2) капіталовкладень х₁ і основних фондів х₂ на прибуток у (друга модель); 3) всіх трьох змінних х₁, х_{2 і} х₃ на у (третя модель); і прослідкуємо як при цьому змінюються параметри моделі (чисті коефіцієнти регресії) і показники точності отриманих моделей. Розрахунок виконаний ПЕОМ із застосуванням програми “MATНCAD-2”. Приведемо деякі розраховані дані:

Для І моделі: маємо:

тоді

Для розрахунків дисперсій визначимо за отриманою моделлю значення і для порівняння з експериментальними даними занесемо їх в таблицю:

уі
	586,63		796,57	838,563	628,62	736,575	964,526

Застосовуючи формули (16), (17), (19) і (20), визначимо:

В дужках розраховані значення середньо квадратичних відхилень:

Для ІІ моделі: маємо:

; тоді

Представимо аналогічну таблицю:

уі
	589,874		753,461	825,904	645,904	821,079	950,258

і відповідні оцінки дисперсій та середньо квадратичних відхилень:

Оскільки s _(ІІ) < s _(І), а R_(ІІ) > R_(І), то можна зробити висновок, що ІІ модель більш точно описує модель в загальному вигляді.

Для ІІІ моделі: маємо:

; тоді

Таблиця матиме вигляд:

уі
	588,965		761,953	824,986	649,087	813,515	936,371

Відповідні значення:

Оскільки s _(ІІІ) < s _(ІІ), а R_(ІІІ) > R_(ІІ), значить дана модель більш точно описує взаємозв’язки в даному об’єкті. Те, що а₃ < 0, означає неефективне використання чисельності працівників, або безпідставно збільшена заробітна плата (в межах тих даних, на яких базується даний аналіз).