Регресивний та кореляційний аналіз

Лінія, що проходить через точки діаграми розсіювання, називається лінією регресії. Одним зі способів побудови лінії регресії, що базується на візуальному розгляді діаграми, є спосіб побудови «від руки». Користуючись ним, побудуйте найбільш підходящу пряму через точки на рис.1.3.

Рисунок 1.3 – Лінія регресії на діаграмі розсіювання

Залежно від статистичного критерію, що застосовується, за даними діаграми розсіювання можна вважати найбільш підходящими декілька різних прямих. При знаходженні рівняння прямої лінії частіше застосовують критерій найменших квадратів. Згідно з цим критерієм, найбільш підходящою є лінія, для якої сума усіх квадратів різностей між величинами, які оцінюються та дійсними величинами залежної змінної, мінімальна. Критерій найменших квадратів також служить основою для знаходження величини середньої арифметичної для ряду вимірів. Таким чином, існує безпосередній зв`язок між середньою арифметичною та лінією регресії, яка задовольняє критерій найменших квадратів. Лінія регресії, що пов`язує дві змінні, може розумітися як «середня» лінія в тому значенні, що вона зображує взаємозв`язок між X та Y для усіх можливих величин цих змінних.

Загальний вид рівняння лінії регресії, яким ми будемо оперувати, = а + bX, де - величина залежної змінної, яка оцінюється або обчислюється, а Х – відома величина незалежної змінної.

Дві константи (a і b) в регресійному рівнянні = а + bX  також мають особливе значення: a вказує на величину Y при Х = 0. Отже, для регресійного рівняння = 5 + 2Х лінія регресії перетинає вісь Y в точці, де Y = 5, при Х = 0;

b вказує нахил лінії регресії для = a + bX. Регресійне рівняння = 5 + 2X  позначає, що при збільшенні Х на одиницю Y збільшується на дві одиниці.

На наведеному графіку (див. рис.1.4) проведіть лінію регресії, зображену рівнянням = 5 + 2X.

Рисунок 1.4 – Лінія регресії, визначена залежністю = a + bX

Таким чином, для = a + bX, Y – величина Y, що оцінюється, а вказує величину Y при Х = 0; b – швидкість зміни Y в залежності від Х, а Х – відома величина незалежної змінної.

Якщо точки діаграми розсіювання трохи розкидані і не всі точно лежать на одній прямій, неможливо уникнути помилки, чи розбіжності, в оцінці величин Y, яка ґрунтується на лінійному рівнянні регресії.

Наприклад, лінія регресії, що представлена на графіку 1.5, описується рівнянням = 2 + X. Однак більша частина точок на діаграмі розсіювання не лежить точно на цій прямій, що вказує на відмінність  дійсних значень Y для цих точок від оцінюваних величин.

Рисунок 1.5 – Відхилення частини значень Х від лінії регресії

Один з критеріїв, які ми могли б застосувати для знаходження положення найбільш підходящої лінії на діаграмі розсіювання, ґрунтується на виборі лінії, для якої сума абсолютних величин розбіжності (помилок) між величинами, які оцінюються, та дійсними величинами залежної змінної, мінімальна. Цей критерій виражається у вигляді = min.

Однак частіше при знаходженні положення лінії регресії застосовують критерій найменших квадратів. Цей критерій виражається у вигляді 2 = min.

Таким чином, точний критерій, який зазвичай служить підґрунтям для знаходження положення лінії регресії, є в той же час критерієм, що лежить в основі обчислення середньої арифметичної.

Отже, лінію регресії, підраховану за допомогою методу найменших квадратів, можна розуміти як деякий вид середньої лінії, що проходить через точки діаграми розсіювання. Положенням цієї лінії мінімізується сума квадратів розходження між величинами, які оцінюються, та дійсними величинами змінної Y.

За допомогою рівняння прямої = a + bX можна задовольнити вимогу методу найменших квадратів, користуючись такими формулами для знаходження b та a в цьому рівнянні:

b =;

a =- b.

Для знаходження b значення n відноситься до кількості пар вимірів незалежної та залежної змінної. Наприклад, для спрощення даних табл.1.2 приймемо n =5.

Таблиця 1.2 – Дані для розрахунку

У якості кроку до знаходження величини b у рівнянні лінії регресії для даних табл.1.2 виконуються наступні обчислення (див. табл.1.3).

Таблиця 1.3 - Розрахунок значень XY та X2

Тепер підставимо відповідні величини в наступні рівняння та знайдемо b:

b = − .

Розв`яжемо рівняння для a: 

a= - b= 8 – 1,5(2) = 5.

Таким чином, згідно з формулою лінії регресії = a + bX, найбільш підходяща пряма для даних табл. 1.3 при застосуванні критерію найменших квадратів зображується рівнянням = 5 + 1,5Х.

На графіку 1.6 наносимо точки розсіювання.

Рисунок 1.6 – Точки розсіювання на осі прямокутних координат

Проведемо лінію регресії, зображену рівнянням = 5 + 1,5Х (рис. 1.7).

Рисунок 1.7 – Лінія регресії на діаграмі розсіювання

Тоді як положення точок розсіювання по відношенню до осі У вказує дійсні величини залежної змінної , лінія регресії вказує величини залежної змінної, які оцінюються на основі регресивного рівняння. Для кожної з п`яти величин Х, наведених в табл.1.2, обчислюємо величину, яка оцінюється, залежної змінної У за допомогою рівняння = 5 + 1,5Х (табл.1.4).

Таблиця 1.4 - Розрахунок значення

Факт неспівпадання всіх точок розсіювання з положенням лінії регресії вказує на існування деякої розбіжності між дійсними величинами та величинами, що оцінюються, залежної змінної. В таблиці 1.4 ця розбіжність вказується різницею величин колонки y та колонки .

За даними таблиці 1.4 можна обчислити суму квадратів помилок рівняння .

Не може будь-яка інша лінія регресії дати меншу суму квадратів розбіжностей величинами, які оцінюються, та дійсними величинами залежної змінної Y .

Таким чином, для даних табл.1.2 рівняння = 5 + 1,5Х та лінія регресії, яка його зображує, задовольняє критерій найменших квадратів.

Зазвичай набираємо більше пар дискретних вимірювань незалежної та залежної змінних, ніж п`ять, зображених у табл.1.2, але вид розв`язку для пошуку рівняння регресії ідентичний щойно завершеному. В якості ще одного спрощеного прикладу завершимо наступну таблицю 1.5, як перший крок до знаходження рівняння регресії для наступних величин.

Таблиця 1.5 – Дані умовної задачі