Калькулятор лінійної регресії

Математичні основи методу найменших квадратів

Метод звичайних найменших квадратів (OLS) є класичним підходом для побудови прямої лінії, яка найкраще описує зв'язок між двома змінними. Цей метод мінімізує суму квадратів вертикальних відхилень (залишків) між фактичними точками даних та побудованою лінією.

Для забезпечення максимальної точності обчислень, калькулятор виконує розрахунок сум відхилень від середніх значень у два проходи за допомогою методу компенсованого підсумовування. Це запобігає втраті точності, навіть якщо вхідні дані суттєво відрізняються за своїм масштабом. Математичний алгоритм базується на таких послідовних кроках:

1. Обчислення середніх значень змінних x та y: x̄ = (Σ xᵢ) / n, ȳ = (Σ yᵢ) / n
2. Розрахунок суми квадратів відхилень для x (Sₓₓ) та суми добутків відхилень для x і y (Sₓy): Sₓₓ = Σ(xᵢ - x̄)², Sₓy = Σ(xᵢ - x̄)(yᵢ - ȳ)
3. Визначення коефіцієнтів лінії регресії:
   • Нахил: b = Sₓy / Sₓₓ
   • Перетин (вільний член): a = ȳ - b · x̄

Отримана лінія регресії має вигляд ŷ = a + b · x, де ŷ — прогнозоване значення залежної змінної.

Інтерпретація коефіцієнтів регресії

Кожен коефіцієнт побудованої моделі має конкретне практичне значення, яке дозволяє аналізувати характер зв'язку між досліджуваними величинами:

• Нахил b показує швидкість та напрямок зміни відгуку. У середньому y змінюється на ‹slope› на кожну 1 одиницю збільшення x. Якщо нахил є додатним, це свідчить про пряму залежність, а від'ємний нахил вказує на зворотний зв'язок.
• Перетин a визначає початкову точку відліку. Там, де x дорівнює 0, лінія перетинає вісь при y = ‹intercept›. У багатьох практичних задачах це значення є суто математичною екстраполяцією, особливо якщо область фактично введених даних x знаходиться далеко від нуля.

Оцінка якості моделі: Кореляція r та Коефіцієнт детермінації R²

Для аналізу того, наскільки успішно побудована модель описує фактичні дані, використовуються три ключові показники:

• Кореляція r (коефіцієнт кореляції Пірсона) вимірює силу та напрямок лінійного зв'язку. Він набуває значень від -1 до 1. Знак коефіцієнта кореляції завжди збігається зі знаком нахилу лінії регресії.
• R² (коефіцієнт детермінації) відображає частку дисперсії залежної змінної, яка пояснюється побудованою моделлю. Він обчислюється через суму квадратів регресії (SSR) та загальну суму квадратів (SST): R² = SSR / SST
• Скоригований R² коригує значення R² з урахуванням кількості ступенів свободи, що дозволяє об'єктивно оцінювати модель при порівнянні вибірок різного розміру: Скоригований R² = 1 - ((1 - R²)(n - 1)) / (n - 2)

Перевірка гіпотез та статистична значущість

Для визначення того, чи є виявлений зв'язок статистично надійним, чи він виник випадково, калькулятор виконує перевірку гіпотез за допомогою t-критерію.

Стандартна помилка нахилу SE(b) та стандартна помилка перетину SE(a) обчислюються на основі розкиду залишків s: s = √(SSE / (n - 2)) SE(b) = s / (√(Sₓₓ)), SE(a) = s · √(1 / n + (x̄²) / Sₓₓ)

Для кожного коефіцієнта розраховується t-статистика як відношення оцінки параметра до його стандартної помилки. Отримане p-значення (двостороннє, з n - 2 ступенями свободи) визначає рівень значущості. Якщо p-значення є дуже малим, це дозволяє відкинути нульову гіпотезу про відсутність лінійного зв'язку. В межах моделі з однією незалежною змінною загальний F-критерій в таблиці дисперсійного аналізу (ANOVA) дорівнює квадрату t-статистики для нахилу, тому обидва тести завжди дають однакове p-значення.

Аналіз залишків та графічна діагностика

Побудова математичної моделі є коректною лише за умови виконання базових припущень регресійного аналізу. Калькулятор будує два типи графіків для візуального контролю:

1. Діаграма розсіювання точок із лінією найменших квадратів та довірчою смугою навколо її середнього значення. Вона дозволяє візуально оцінити, наскільки близько фактичні точки розташовані до лінії регресії.
2. Графік залишків відносно x, розподілених навколо нульової лінії. Залишок для кожної точки обчислюється як різниця між фактичним та прогнозованим значенням: y - ŷ.

Якщо точки на графіку залишків хаотично розкидані навколо нульової лінії без видимих закономірностей, це підтверджує лінійність залежності та стабільність дисперсії (гомоскедастичність). Наявність виражених вигинів, U-подібних форм або віялоподібного розширення свідчить про порушення припущень OLS, через що результати моделювання можуть бути ненадійними.

Довірчі інтервали прогнозування

При прогнозуванні значень y для нових значень x₀ калькулятор розраховує два типи інтервалів для обраного рівня довіри (90%, 95% або 99%):

• Середній ‹level›% (інтервал довіри для середнього значення відгуку). Він визначає межі, в яких із заданою ймовірністю перебуває істинне середнє значення y для конкретного x₀. Його стандартна помилка враховує лише похибку оцінки самої лінії регресії: SE_(mean) = s · √(1 / n + ((x₀ - x̄)²) / Sₓₓ)
• Індивідуальний ‹level›% (інтервал прогнозу для окремого нового спостереження). Він визначає межі, в які потрапить одне конкретне майбутнє спостереження. Оскільки окреме спостереження містить додаткову випадкову помилку навколо лінії регресії, цей інтервал завжди ширший за середній: SE_(ind) = s · √(1 + 1 / n + ((x₀ - x̄)²) / Sₓₓ)

Обидва типи інтервалів мають властивість розширюватися в міру того, як значення x₀ віддаляється від середнього значення x вхідних даних. Якщо прогнозоване значення лежить поза межами діапазону вхідних даних, калькулятор виводить позначку "поза межами даних" та попередження про екстраполяцію.

Правила введення даних та обмеження

Для успішного розрахунку необхідно дотримуватися таких правил:

• Обсяг даних: мінімум 2 точки, максимум — 50 000 точок (обсяг вставленого тексту до 1 МБ).
• Формат введення: підтримуються макети "Парні рядки" та "Два списки". При копіюванні даних з електронних таблиць перший рядок автоматично ігнорується, якщо він містить нечислові заголовки стовпців.
• Роздільники: при використанні крапки як десяткового роздільника (наприклад, 12.5), значення у списках розділяються пробілами, комами або новими рядками. При використанні коми (наприклад, 12,5), роздільниками мають бути пробіли, крапки з комою або нові рядки.
• Обробка помилок: якщо списки мають різну довжину, виводиться помилка: "Виявлено ‹countX› значень x та ‹countY› значень y — списки повинні мати однакову довжину.". Якщо введено некоректні символи, калькулятор вкаже на помилку, наприклад: "«‹token›» не є числом (рядок ‹position›).".
• Конфіденційність: усі обчислення виконуються локально у вашому веб-браузері. Ваші точки даних та всі статистичні показники залишаються в цьому браузері й ніколи не завантажуються на сервер.

Часті запитання (FAQ)

Чому прогнози супроводжуються двома інтервалами?
Вони відповідають на різні запитання. Інтервал для середнього визначає, де знаходиться середнє значення y для всіх об'єктів при цьому x, тому враховується лише невизначеність самої лінії. Інтервал для індивідуального значення визначає, де опиниться одне нове спостереження, що додає розкид точок навколо лінії — саме через цей додатковий член він завжди ширший. Обидва інтервали розширюються в міру віддалення x від середини ваших даних.

Чи має значення, в який стовпець поміщати x?
Так. Метод найменших квадратів мінімізує вертикальні відхилення, тому він розглядає y як залежну змінну (яку пояснюють), а x — як незалежну (яка пояснює). Поміняйте їх місцями, і ви отримаєте інший нахил та інший вільний член — незмінними залишаться лише r та R². Поміщайте змінну, яку хочете спрогнозувати, в y; якщо стовпці було введено не в тому порядку, кнопка зміни місцями перезапише їх прямо на місці.

Що насправді показує R²?
R² — це частка коливань y вгору і вниз, яку пояснює лінія регресії: 0,96 означає, що 96% цих коливань узгоджуються з x, а 4% — ні. Цей показник нічого не говорить про те, чи була пряма лінія правильною формою зв'язку (чітка крива все одно може мати високий результат), тому аналізуйте його разом із графіком залишків. Коефіцієнт кореляції r — це квадратний корінь із R² зі знаком нахилу, саме тому r є від'ємним для спадної лінії.

Чи означає мале значення p-value, що x є причиною y?
Ні. Значення p-value відповідає лише на одне вузьке запитання: якби справжній нахил дорівнював 0, як часто вибірка такого розміру давала б нахил, щонайменше настільки віддалений від 0? Мале значення лише робить пояснення «відсутність будьякого зв'язку» непереконливим, і нічого більше. Для встановлення причинно-наслідкового зв'язку потрібен правильний дизайн дослідження — третій фактор, що впливає на обидва стовпці, або вибірка, зібрана залежним чином, так само легко дають малі значення p-value.