Метод найменших квадратів

При вивченні закономірностей в деяких дослідженнях інженерної справи, економіки, біології, медицини і т.п. приходиться аналітично описувати (у вигляді формули) зв'язок між двома змінними x та y. Для цього в процесі експериментів, спостережень вимірюють з можливою точністю окремі значення x_i і відповідні їм значення y_i (i=1,2,…,n), або отримують такі значення як статистичні дані. В результаті маємо таблицю значень (табл. 1).

Таблиця 1

Побудуємо у вибраній системі координат XOY точки M_i(x_i, y_i), координати яких відповідають даним таблиці 1 (див. рис. 1).

Тепер виникає необхідність вибору відповідної функції y=f(x), яка б описувала зв'язок між x і y. Таку функцію називають емпіричною. В загальному випадку вибір емпіричної функції не є однозначним. Можна знайти лінію, яка б проходила через кожну з точк M_i, це може бути так званий інтерполяційний многочлен (на рис. 1 це пунктирна лінія), порядок якого буде досить високим (на одиницю меншим, ніж кількість точок в таблиці). Крім того, дані таблиці 1 можуть бути не досить точними внаслідок наявності похибок вимірювання, а також впливу інших факторів, які ми не завжди можемо врахувати. Тому дослідники віддають перевагу більш простим і зручнішим функціям, таким, як лінійна , квадратична , показникова

, гіперболічна і ін. Вибрана функція повинна "найкращим" чином згладжувати експериментальні дані. В залежності від того, як вводиться поняття "найкраще згладжування" встановлюється той чи інший метод вибору емпіричної залежності

(на рис. 1 – суцільна лінія). Найбільш часто застосовується так званий метод найменших квадратів, який дозволяє знаходити параметри вибраної залежності

Позначимо через відхилення емпіричної функції в точці від відповідного табличного (експериментального) значення . Зрозуміло (див. рис. 1), що можуть бути для одних додатніми, а для інших від'ємними. Тому їх сума може навіть дорівнювати нулю. Краще було б брати суму їх абсолютних величин але досліджувати суму, яка містить модулі величин складніше, ніж суму квадратів цих величин. Тому зупиняються на останньому

Параметри функції вибирають так, щоб сума квадратів S приймала найменше значення.

1⁰. Розглянемо випадок, коли лінійна функція з невідомими параметрами a i b. Тоді величина відхилення

, а сума їх квадратів

(14.1)

є функцією двох змінних a i b (x_i, y_i – це числа із таблиці 1). Відомо, що S (a,b) приймає мінімальне значення при тих значеннях a i b, при яких частинні похідні по цих змінних дорівнюють нулю, тобто коли

Із (14.1) знаходимо:

Прирівнюючи до нуля частинні похідні, отримуємо систему рівнянь:

(14.2)

Система (14.2) називається нормальною системою методу найменших квадратів.

Розв'язуючи систему рівнянь (14.2), знаходимо числа a i b, які підставляємо в рівняння що і дає формулу шуканої залежності.

Отже під "найкращим" згладжуванням експериментальних даних в даному випадку вважається лінійна функція, параметри якої знайдені за методом найменших квадратів.

Метод найменших квадратів був запропонований німецьким математиком К. Гауссом.

Приклад 1. З різних дільниць шахт у вигляді таблиці отримані середні дані за квартал про залежність між собівартістю 1 тони залізної руди (в грошових одиницях) і глибиною добування (розробки, в метрах) (табл.2).

Таблиця 2

Припускаючи, що між змінними x i y існує лінійна залежність, знайти емпіричну формулу за методом найменших квадратів.

Розв'язання. Для зручності побудуємо обчислювальну таблицю (табл. 3).

Таблиця 3

За значеннями сум таблиці складаємо нормальну систему методу найменших квадратів:

Зауважимо при цьому, що кількість точок в таблиці n=7.

Систему розв'яжемо за формулами Крамера

Таким чином, емпірична формула залежності між глибиною розробки і собівартістю однієї тони залізної руди має такий вигляд:

Із формули видно, що із збільшенням глибини розробки на 100 метрів собівартість 1 тони залізної руди в середньому зростає на грошової одиниці.

Тепер згідно емпіричної формули обчислимо для відповідних значень x_i теоретичні значення y(x_i) і для порівняння заповнимо нову таблицю значень (табл. 4).

Таблиця 4

Для більшої наочності побудуємо в системі координат XOY точки за даними таблиці 4 і пряму лінію Точки (x_i,y(x_i)) належать прямій лінії, а точки (x_i, y_i) на графіку (позначені кружочками) розміщені вздовж лінії з певними відхиленнями від прямої.

2⁰. Зглажування квадратичною функцією експериментальних даних. Зауважимо, що метод найменших квадратів застосовується для знаходження параметрів після того, коли вигляд функції y=f(x) встановлений. Але якщо з теоретичних міркувань неможна зробити певного висновку, якою повинна бути емпірична формула, то її вигляд наочно визначають із графічних зображень експериментальних даних. Так із рис. 1 суцільна лінія, яка проходить поміж точок M₁, M₂, M₃,…,M_i,…,M_n нагадує параболу Тому у випадку квадратичної функції знаходимо мінімум суми як функції трьох змінних a, b, c, при яких частинні похідні її повинні дорівнювати нулю

Знаходимо частинні похідні:

Прирівнюючи кожну з похідних до нуля отримуємо систему лінійних відносно a, b, c рівнянь:

(14.3)

Приклад 2. Застосовуючи метод найменших квадратів знайти значення параметрів функції якщо відомі такі значення змінних (див. табл. 5).

Таблиця 5

Розв’язання. Для наочності побудуємо точки за даними таблиці 5 в системі XOY (див. рис.3), розміщення яких нагадує параболу, для знаходження параметрів якої заповнюєм обчислювальну таблицю 6.

Таблиця 6

Підставляючи значення сум із табл.6 в (14.3) отримуємо лінійну систему рівнянь відносно параметрів a, b, c:

(14.4) Систему (14.4) можна розв'язати, наприклад, шляхом виключення невідомої з наступним розв'язуванням нової системи відносно . Наводимо готові результати: Шукана функція матиме вигляд:

Рис.3

3⁰. Вирівнювання дослідних даних за гіперболою здійснюється за допомогою заміни В такому разі в таблицю значень потрібно доповнити значеннями

Таблиця 7

			…		…
		y2	…		…
			…		…

Після цього знаходиться мінімум функції яка має такий же вигляд, як функція (14.1), і тому відповідна система запишеться:

(14.5)

Для отримання системи (14.5) складається відповідна обчислювальна таблиця відносно значень з якої знаходять

необхідні для системи суми. Після знаходження отримуємо функцію

4⁰. Вирівнювання дослідних даних за показниковою функцією

здійснюється за допомогою логарифмування і подальшою заміною

Тоді отримаємо лінійну залежність параметри якої знаходимо за розглянутим вище методом найменших квадратів.

Приклад 3. За даними таблиці 8 знайти параметри залежності

Таблиця 8

Розв'язання. Побудуємо точки відповідно таблиці 8 (див. рис.4).

Рис.4

Складаємо обчислювальну таблицю

Таблиця 9

За даними сум таблиці 9 маємо систему:

для якої знаходимо визначники

Згідно формул Крамера знаходимо

Отже маємо лінійну функцію

Поскільки то

Таким чином, відповідно до таблиці 8 і рис. 4 ми знайшли показникову залежність