Pienimmän neliösumman menetelmä ja lineaarinen regressio
Lineaarinen regressioanalyysi on tilastotieteellinen menetelmä, jolla selvitetään kahden jatkuvan muuttujan välistä suhdetta. Menetelmän ytimessä on tavallinen pienimmän neliösumman menetelmä (OLS, Ordinary Least Squares), joka sovittaa suoran viivan havaintopisteisiin siten, että havaittujen y-arvojen ja suoran antamien ennusteiden välisten pystysuorien etäisyyksien eli jäännösten neliösumma minimoituu.
Laskennassa käytetään kahta laskentakierrosta ja kompensoitua summausta, jotta numeerinen tarkkuus säilyy silloinkin, kun lukujen suuruusluokat eroavat merkittävästi toisistaan. Laskennan perustana ovat seuraavat summat keskiarvojen suhteen:
- Sxx = Σ(xᵢ − x̄)²
- Syy = Σ(yᵢ − ȳ)²
- Sxy = Σ(xᵢ − x̄)(yᵢ − ȳ)
Näiden summien pohjalta määritetään suoran kulmakerroin b ja vakiotermi a:
- Kulmakerroin b = Sxy ÷ Sxx
- Vakiotermi a = ȳ − b·x̄
Tämä sovitus on luonteeltaan suunnattu. Koska menetelmä minimoi nimenomaan pystysuoria etäisyyksiä, x- ja y-muuttujien roolit eivät ole symmetriset. Jos muuttujat vaihdetaan keskenään, saadaan eri kulmakerroin ja vakiotermi, vaikka korrelaatiokerroin r ja selitysaste R² pysyvät samoina.
Regressiokertoimien tulkinta ja tilastollinen merkitsevyys
Laskimen tuottama regressiosuora tiivistetään kahteen keskeiseen kertoimeen, jotka kuvaavat muuttujien välistä suhdetta:
- Kulmakerroin b: Kertoo, kuinka paljon selitettävä muuttuja y muuttuu keskimäärin, kun selittävä muuttuja x kasvaa yhdellä yksiköllä. Tulosteessa tämä esitetään muodossa: "Keskimäärin y muuttuu
‹slope›yksikköä jokaista x:n yhden yksikön lisäystä kohden.". - Vakiotermi a: Ilmoittaa suoran leikkauspisteen y-akselilla. Tulosteessa tämä esitetään muodossa: "Kun x on 0, suora on kohdassa y =
‹intercept›.".
Kertoimien epävarmuutta ja tilastollista merkitsevyyttä arvioidaan keskivirheiden, t-testin ja p-arvojen avulla. Jäännöshajonta s kuvaa pisteiden hajontaa suoran ympärillä, ja se lasketaan kaavalla s = √(SSE ÷ (n − 2)), missä SSE on jäännösneliösumma ja n on havaintojen määrä. Kertoimien keskivirheet lasketaan seuraavasti:
- SE(b) = s ÷ √Sxx
- SE(a) = s · √(1÷n + x̄² ÷ Sxx)
Testisuure t saadaan jakamalla kerroinarvio sen keskivirheellä. Kaksisuuntaisen p-arvon laskennassa käytetään säännöllistettyä epätäydellistä betafunktiota vapausasteilla n − 2. Koska mallissa on vain yksi selittäjä, kokonaismallin F-testi ja kulmakertoimen t-testi antavat aina saman p-arvon.
Selitysaste R² ja korrelaatiokerroin r
Mallin hyvyyttä ja muuttujien välistä yhteyttä kuvataan tunnusluvuilla r ja R²:
- Korrelaatiokerroin r: Kuvaa muuttujien välisen lineaarisen yhteyden voimakkuutta ja suuntaa. Se saa arvoja väliltä −1 ja 1. Korrelaatiokerroin r lasketaan kaavalla Sxy ÷ √(Sxx·Syy), ja se kantaa aina kulmakertoimen etumerkkiä.
- Selitysaste R²: Kertoo, kuinka suuri osuus selitettävän muuttujan y kokonaisvaihtelusta (SST) voidaan selittää regressiosuoralla (SSR). Se lasketaan kaavalla R² = SSR ÷ SST.
- Korjattu R²: Ottaa huomioon vapausasteet ja lasketaan kaavalla 1 − (1 − R²)(n − 1) ÷ (n − 2).
Ennustaminen ja luottamusvälit
Kun malliin syötetään x-arvoja tulevien y-arvojen ennustamiseksi, laskin muodostaa kullekin ennusteelle kaksi erilaista luottamusväliä valitun luottamustason (90 %, 95 % tai 99 %) mukaan:
- Keskiarvon luottamusväli (Mean interval): Kuvaa epävarmuutta y:n odotusarvossa (keskiarvossa) tietyssä pisteessä x₀. Sen keskivirhe lasketaan kaavalla s · √(1÷n + (x₀ − x̄)² ÷ Sxx).
- Yksittäinen ennusteväli (Individual interval): Kuvaa epävarmuutta, kun ennustetaan yhtä uutta yksittäistä havaintoa pisteessä x₀. Sen keskivirhe lasketaan kaavalla s · √(1 + 1÷n + (x₀ − x̄)² ÷ Sxx).
Koska yksittäisen havainnon ennusteväli sisältää sekä suoran sijaintiin liittyvän epävarmuuden että yksittäisten pisteiden luonnollisen hajonnan suoran ympärillä, yksittäinen ennusteväli on aina leveämpi kuin keskiarvon luottamusväli. Molemmat välit levenevät sitä mukaa, kun ennustettava x₀-arvo etääntyy syötetyn aineiston keskiarvosta x̄. Jos ennustettava x-arvo sijaitsee syötetyn aineiston rajojen ulkopuolella, laskin merkitsee rivin tekstillä "aineiston ulkopuolella" varoittaakseen ekstrapoloinnista.
Jäännösanalyysin merkitys
Regressiolaskenta tuottaa aina numeerisia tuloksia, mutta niiden luotettavuuden arviointi vaatii jäännösten (residuaalien) tarkastelua. Jäännös on havaitun y-arvon ja suoran antaman ennusteen ŷ välinen erotus (y − ŷ).
Laskin piirtää kaksi kuvaajaa:
- Sovitettu suora: Pistekaavio havaintopisteistä, johon on piirretty sovitettu suora ja sen keskiarvon luottamusväli.
- Jäännökset: Kuvaaja, jossa jäännökset on esitetty x-akselin suhteen nollaviivan ympärillä.
Jos jäännöskuvaajassa näkyy selkeä käyräviivainen hahmo tai viuhkamainen leveneminen (heteroskedastisuus), lineaarisen mallin oletukset eivät täyty, eikä pelkkiin kertoimiin tai p-arvoihin tule luottaa.
Erityistilanteet ja virheilmoitukset
Laskin käsittelee matemaattiset rajatapaukset ja virheelliset syötteet seuraavasti:
- Täsmälleen kaksi pistettä: Kahden pisteen kautta kulkee aina yksikäsitteinen suora. Laskin ilmoittaa: "Kaksi pistettä määrittää suoran tarkasti, joten epävarmuuden arvioimiseksi ei jää mitään jäännösvaihtelua.".
- Täydellinen sovitus: Jos kaikki pisteet asettuvat suoralle, jäännöshajontaa ei ole. Laskin ilmoittaa: "Pisteet sijaitsevat tarkalleen suoralla, joten jäännöshajontaa ei ole, eikä luottamusväliä tai p-arvoa voida arvioida.".
- Vakiomuotoiset Y-arvot: Jos kaikki y-arvot ovat samoja, suora on vaakasuora. Laskin ilmoittaa: "Jokainen y on sama, joten suora on vaakasuora ja r, R² sekä merkitsevyystesti ovat määrittämättömiä.".
- Pystysuora viiva (Vakiomuotoiset X-arvot): Jos kaikki x-arvot ovat samoja, suora olisi pystysuora. Laskin keskeyttää laskennan ja antaa virheen: "Jokainen x on sama, joten suora olisi pystysuora ja kulmakertoimen laskennassa jaettaisiin nollalla.".
Muita mahdollisia virheilmoituksia ovat muun muassa puutteelliset parit ("Rivillä ‹position› on oltava tarkalleen kaksi lukua: ensin x ja sitten y."), eripituiset luettelot ("Aineistossa on ‹countX› x-arvoa ja ‹countY› y-arvoa — luetteloiden on oltava samanpituiset.") sekä liian vähäinen pistemäärä ("Syötä vähintään 2 pistettä; yksi piste ei määritä suoraa.").
Tietosuoja ja tekniset rajat
Laskin toimii kokonaan käyttäjän omassa verkkoselaimessa. Syötettyjä aineistoja tai laskettuja tilastotietoja ei koskaan lähetetä ulkoisille palvelimille, vaan kaikki käsittely tapahtuu paikallisesti.
Laskimen tekniset rajat ovat:
- Aineiston maksimikoko: 50 000 pistettä ja 1 MB liitettyä tekstiä.
- Ennusteiden maksimimäärä: 50 x-arvoa kerrallaan.
- Numeerinen ylivuoto: Jos jokin arvo tai välitulos ylittää tuetun lukualueen, laskin antaa virheilmoituksen "Arvo tai välitulos ylittää tuetun lukualueen.".
Usein kysytyt kysymykset
Miksi ennusteille annetaan kaksi eri luottamusväliä?
Ne vastaavat eri kysymyksiin. Keskiarvon luottamusväli kertoo, missä y:n keskiarvo sijaitsee kaikilla kyseisessä x-pisteessä olevilla, jolloin vain itse suoran epävarmuus vaikuttaa. Yksittäinen ennusteväli taas kertoo, mihin yksi uusi havainto osuu, mikä lisää mukaan pisteiden hajonnan suoran ympärillä — tämä lisätermi on syy siihen, miksi se on aina näistä kahdesta leveämpi. Molemmat levenevät, kun x siirtyy kauemmas aineistosi keskikohdasta.
Merkitseekö pieni p-arvo sitä, että x aiheuttaa y:n?
Ei. P-arvo vastaa vain yhteen kapeaan kysymykseen: jos todellinen kulmakerroin olisi 0, kuinka usein tämän kokoinen otos tuottaisi kulmakertoimen, joka on vähintään näin kaukana nollasta? Pieni arvo tekee selityksestä ”ei mitään yhteyttä” epäuskottavan, ei muuta. Syy-yhteyden osoittaminen vaatii tutkimusasetelman tukea — molempia sarakkeita liikuttava kolmas tekijä tai otos, jota ei kerätty toisistaan riippumatta, tuottaa aivan yhtä helposti pieniä p-arvoja.
Mitä R² todellisuudessa kertoo?
R² on se osuus y:n pystysuuntaisesta vaihtelusta, jonka suora selittää: 0,96 tarkoittaa, että 96 % siitä asettuu linjaan x:n kanssa ja 4 % ei. Se ei kerro mitään siitä, oliko suora viiva oikea malli — selkeä käyrä voi silti saada korkeat pisteet — joten lue sitä yhdessä jäännöskuvaajan kanssa. Korrelaatiokerroin r on R²:n neliöjuuri varustettuna kulmakertoimen etumerkillä, minkä vuoksi r on negatiivinen laskevalle suoralle.
Onko sillä väliä, kumpaan sarakkeeseen asetan x-muuttujan?
Kyllä. Pienimmän neliösumman menetelmä minimoi pystysuorat etäisyydet, joten se käsittelee y-muuttujaa selitettävänä asiana ja x-muuttujaa selittävänä asiana. Jos vaihdat ne keskenään, saat eri kulmakertoimen ja eri vakiotermin — vain r ja R² pysyvät samoina. Aseta muuttuja, jota haluat ennustaa, y-sarakkeeseen; jos sarakkeet menivät väärin päin, vaihto-painike kirjoittaa ne uudelleen paikoilleen.