Калкулатор линеарне регресије

Математичке основе методе најмањих квадрата

Метод обичних најмањих квадрата (OLS) представља стандардни математички поступак за прилагођавање праве линије упареним подацима. Циљ ове методе је проналажење линеарне једначине која минимизира збир квадрата вертикалних одступања (резидуала) између посматраних тачака и прилагођене линије. Прорачун се заснива на статистичким методама које описују расипање и заједничко кретање података.

Да би се обезбедила максимална нумеричка прецизност, чак и када се вредности у узорку значајно разликују по свом реду величине, прорачун сума око средњих вредности врши се у два пролаза уз компензовано сабирање. Први корак је одређивање средњих вредности за x и y:

• Просеци: x̄ = ‹sumX› ÷ ‹n› = ‹meanX› и ȳ = ‹sumY› ÷ ‹n› = ‹meanY›

Након тога, израчунавају се суме квадрата одступања око средњих вредности:

• Sxx = Σ(xᵢ − x̄)²
• Syy = Σ(yᵢ − ȳ)²
• Sxy = Σ(xᵢ − x̄)(yᵢ − ȳ)

Ове вредности директно одређују нагиб и одсечак регресионе линије. Нагиб (b) представља однос заједничког кретања променљивих и варијабилитета независне променљиве, док одсечак (a) позиционира линију у односу на средње вредности:

• Нагиб: b = Sxy ÷ Sxx = ‹sxy› ÷ ‹sxx› = ‹slope›
• Одсечак: a = ȳ − b·x̄ = ‹meanY› − (‹slope›)·‹meanX› = ‹intercept›

Интерпретација регресионих коефицијената

Добијени коефицијенти описују просечан однос између две променљиве у оквиру анализираног узорка.

Нагиб b показује интензитет и смер промене зависне променљиве. Његово практично значење дефинисано је правилом: „У просеку се y мења за ‹slope› за свако повећање x за 1.“. Позитиван нагиб указује на то да вредности y расту са растом вредности x, док негативан нагиб означава да y опада када се x повећава.

Одсечак a одређује вредност на којој регресиона линија пресеца вертикалну осу. Његово значење је описано реченицом: „Тамо где је x једнако 0, линија се налази на y = ‹intercept›.“. Ова вредност има физичко значење само уколико опсег унетих података обухвата вредност x = 0; у супротном, она служи искључиво као математичко сидро за исправно позиционирање линије.

Анализа варијансе и мере репрезентативности (r и R²)

Да би се утврдило у којој мери прилагођена линија успешно објашњава варијабилитет података, врши се декомпозиција укупне суме квадрата (SST) на део који је објашњен регресионом линијом (SSR) и непланирани остатак, односно суму квадрата грешака (SSE):

• SST = Syy
• SSE = Σ(yᵢ − ŷᵢ)²
• SSR = SST − SSE

На основу ових вредности израчунавају се кључни статистички показатељи репрезентативности модела:

Тестирање хипотеза и статистичка значајност

Да би се утврдило да ли је линеарна веза између x и y статистички значајна, спроводи се двострани t-тест над нагибом b. Нулта хипотеза претпоставља да је стварни нагиб једнак нули (нема линеарне везе).

Прво се израчунава стандардна грешка нагиба, која зависи од расипања резидуала и варијабилитета променљиве x:

• SE(b) = s ÷ √Sxx = ‹s› ÷ √‹sxx› = ‹se›

На основу ове грешке одређује се t-статистика:

• t = b ÷ SE(b) = ‹slope› ÷ ‹se› = ‹t›

Добијена t-вредност се тестира на n − 2 степени слободе како би се израчунала двострана p-вредност помоћу регуларизоване непотпуне бета функције. Резултат се приказује у формату: „t = b ÷ SE(b) = ‹slope› ÷ ‹se› = ‹t›, па је p = ‹p› са ‹df› степени слободе.“. Будући да се ради о моделу са једним предиктором, укупни F-тест у оквиру табеле „Објашњена варијанса“ даје идентичну p-вредност као и t-тест за нагиб.

Интервали поверења и предвиђање нових вредности

За сваку унету вредност x₀, модел омогућава предвиђање очекиване вредности ŷ₀ = a + b·x₀. Ова предвиђања прате две врсте интервала за изабрани ниво поверења (90%, 95% или 99%):

1. Средњи ‹level›% интервал: Односи се на просечну вредност y за све могуће опсервације на задатом x₀. Стандардна грешка за средњу вредност износи s · √(1÷n + (x₀ − x̄)² ÷ Sxx).
2. Појединачни ‹level›% интервал: Односи се на опсег у коме ће се наћи једно ново, појединачно посматрање. Његова стандардна грешка износи s · √(1 + 1÷n + (x₀ − x̄)² ÷ Sxx).

Појединачни интервал је увек шири од средњег интервала јер, поред неизвесности саме регресионе линије, узима у обзир и природно расипање појединачних тачака око те линије. Оба интервала се постепено шире како се вредност x₀ удаљава од аритметичке средине x̄.

Правила уноса података и гранични случајеви

Калкулатор подржава унос података кроз два изгледа: „Упарени редови“ (где се уноси једно x и y по реду) и „Две листе“ (где се x и y вредности уносе у засебна поља). Приликом уноса важе следећа правила и ограничења:

• Децимални сепаратори: Подржани су и тачка (нпр. 12.5) и запета (нпр. 12,5). Ако се користи тачка, вредности у листама се раздвајају размацима, запетама или новим редовима. Ако се користи запета, вредности се раздвајају размацима, тачка-запетама или новим редовима.
• Заглавља: Први ред у упареним редовима се аутоматски прескаче уколико су обе вредности текстуалне, што омогућава директно лепљење колона са заглављима из табеларних софтвера.
• Ограничења количине: Минималан број тачака је 2, а максималан 50.000 тачака (до 1 MB текста). Могуће је унети до 50 вредности за предвиђање одједном.

Специфични математички исходи и грешке:

• Тачно две тачке: Линија је савршено фиксирана. Приказује се порука: „Две тачке тачно одређују линију, тако да ништа не преостаје за процену неизвесности.“.
• Савршено прилагођавање: Ако све тачке леже на правој линији, нема одступања. Приказује се порука: „Тачке леже тачно на линији, тако да нема расипања резидуала и не може се проценити ниједан интервал нити p-вредност.“.
• Константне Y вредности: Ако су сви y подаци идентични, линија је потпуно хоризонтална. Приказује се порука: „Свако y је исто, па је линија равна, а r, R² и тест значајности нису дефинисани.“.
• Константне X вредности: Ако су сви x подаци идентични, линија би морала бити вертикална. Прорачун се прекида уз грешку: „Свако x је исто, па би линија била вертикална, а нагиб би делио са нулом.“.

Локална приватност података

Сви прорачуни се извршавају локално, директно у веб прегледачу корисника. Подаци унети у поља за унос и сви израчунати статистички параметри никада се не отпремају на спољне сервере.

---

Често постављана питања

Да ли је важно коју колону ћу ставити у x?
Да. Метод најмањих квадрата минимизира вертикална одступања, па третира y као ствар која се објашњава, а x као ствар која објашњава. Замените их и добићете другачији нагиб и другачији одсечак — само r и R² остају исти. Ставите променљиву коју желите да предвидите у y; ако су колоне унете обрнуто, дугме за замену ће их преписати на лицу места.

Шта ми R² заправо говори?
R² је удео у кретању горе-доле у y који линија објашњава: 0,96 значи да је 96% тога усклађено са x, а 4% није. То не говори ништа о томе да ли је права линија била исправан облик — јасна крива и даље може имати висок резултат — па га читајте заједно са дијаграмом резидуала. Корелација r је квадратни корен из R² који носи предзнак нагиба, због чега је r негативно за опадајућу линију.

Да ли мала p-вредност значи да x узрокује y?
Не. p-вредност одговара само на једно уско питање: ако би стварни нагиб био 0, колико често би узорак ове величине дао нагиб који је барем оволико удаљен од 0? Мала вредност чини објашњење „нема никакве везе“ незгодним, и ништа више. Узрочност захтева дизајн саме студије у позадини — трећи фактор који покреће обе колоне, или узорак који није прикупљен независно, подједнако лако производи мале p-вредности.

Зашто предвиђања долазе са два интервала?
Они одговарају на различита питања. Средњи интервал се пита где се налази просечно y за све на том x, па се у обзир узима само неизвесност саме линије. Појединачни интервал се пита где ће пасти једно ново посматрање, што додаје и расипање тачака око линије — тај додатни члан је разлог зашто је он увек шири од ова два. Оба се шире како се x удаљава од средине ваших података.