Метод найменших квадратів

Нехай маємо N пар спостережень (x,y), причому x_t – фіксовані значення вхідної величини. Цьому набору відповідає деяке поле кореляції.

Необхідно підібрати лінію регресії виду

яка б найкращим чином описувала поведінку об'єкта. Як вже відмічалося, через наявність, наприклад, похибки вимірювання значення вихідної величини також будуть випадковими.

Для оцінки коефіцієнтів регресії і використовується метод найменших квадратів (МНК), який дозволяє мінімізувати суму квадратів різниці відхилення експериментальних даних і розрахункових значень, отриманих за рівнянням регресії

МНК полягає в мінімізації функції

Для лінійної парної залежності маємо

При знаходженні оцінок коефіцієнтів, які задовольняють даним умовам, необхідно взяти час ткові похідні і прирівняти до нуля. Отримаємо систему рівнянь, яка називається системою нормальних рівнянь. Число цих рівнянь відповідає числу невідомих:

Може бути нескінченна множина гіпотез про конкретний вид моделі (значення коефіцієнтів). Завдання полягає у виборі моделі, що найкращим чином описує поведінку об'єкта. Для цього скористуємося методом максимальної правдоподібнос ті:

Якщо маємо N вибраних точок, де проводились експерименти, то функція правдоподібнос ті дорівнюватиме добутку ймовірностей

Для отримання оцінок максимальної правдоподібності

Ця умова співпадає з умовою МНК.

Таким чином, МНК є частковим випадком методу максимальної правдоподібності при нормальному законі розподілу.