Mathematische Grundlagen der linearen Regression nach der Methode der kleinsten Quadrate
Die lineare Regression ist ein statistisches Verfahren, um die Beziehung zwischen einer unabhängigen Variable (Prädiktor x) und einer abhängigen Variable (Kriterium y) durch eine gerade Linie zu beschreiben. Der Rechner für lineare Regression nutzt hierfür die Methode der kleinsten Quadrate (Ordinary Least Squares, OLS). Diese Methode minimiert die Summe der quadrierten vertikalen Abstände (Residuen) zwischen den tatsächlichen Datenpunkten und der berechneten Regressionsgerade.
Um numerische Präzisionsverluste bei weit auseinanderliegenden Größenordnungen zu verhindern, berechnet das Tool die Summen über die Abweichungen vom Mittelwert in zwei Durchgängen mit kompensierter Summation nach den Standards des NIST/SEMATECH-Handbuchs für statistische Methoden:
- Abweichungsquadratsumme für x: Sₓₓ = Σ(xᵢ - x̄)²
- Abweichungsquadratsumme für y: S_yy = Σ(yᵢ - ȳ)²
- Kreuzproduktsumme: Sₓy = Σ(xᵢ - x̄)(yᵢ - ȳ)
Die Steigung b und der Achsenabschnitt a der Regressionsgerade bestimmen sich über die Formeln:
Steigung: b = Sₓy / Sₓₓ Achsenabschnitt: a = ȳ - b · x̄
Dabei stellen x und y die jeweiligen arithmetischen Mittelwerte der Datenreihen dar.
Interpretation der Regressionskoeffizienten und Kennzahlen
Die berechneten Koeffizienten beschreiben die funktionale Beziehung der Variablen im Detail:
- Steigung b: Gibt an, um wie viele Einheiten sich y im Durchschnitt verändert, wenn x um eine Einheit steigt. Im Ausgabebereich des Tools wird dies übersetzt als: „Im Durchschnitt ändert sich y um
‹slope›für jede Erhöhung von x um 1.“ - Achsenabschnitt a: Zeigt den Schnittpunkt mit der y-Achse an. Die Interpretation lautet: „Wo x gleich 0 ist, liegt die Gerade bei y =
‹intercept›.“ - Korrelation r: Misst die Stärke und Richtung des linearen Zusammenhangs. Sie entspricht der Quadratwurzel aus R² und trägt das Vorzeichen der Steigung b.
- R² (Bestimmtheitsmaß): Gibt den Anteil der Varianz in y an, der durch die Regressionsgerade erklärt wird. Es berechnet sich aus der erklärten Quadratsumme (SSR) und der Gesamtquadratsumme (SST): R² = SSR / SST.
- Adjustiertes R²: Korrigiert das Bestimmtheitsmaß um die Anzahl der Freiheitsgrade, um eine Überschätzung bei kleinen Stichproben zu vermeiden: 1 - ((1 - R²)(n - 1)) / (n - 2).
- Residuenstreuung s: Die Standardabweichung der Residuen, berechnet als s = √(SSE / (n - 2)), wobei SSE die Summe der quadrierten Residuen darstellt.
Hypothesentests und Varianzanalyse (ANOVA)
Um zu prüfen, ob die lineare Beziehung statistisch signifikant ist, führt das Tool einen zweiseitigen t-Test für die Steigung b auf n - 2 Freiheitsgraden durch. Die Teststatistik lautet:
t = b / (SE(b))
Der Standardfehler der Steigung wird bestimmt durch SE(b) = s / (√(Sₓₓ)). Der zugehörige p-Wert wird über die regularisierte unvollständige Beta-Funktion I(ν/(ν + t²); ν/2, 1/2) ermittelt. Da bei einer einfachen linearen Regression nur ein Prädiktor existiert, ist der F-Wert der Varianzanalyse (ANOVA) exakt gleich dem Quadrat des t-Werts der Steigung (F = t²). Beide Tests liefern somit stets denselben p-Wert.
Die Ergebnisse werden übersichtlich in der Tabelle Varianzanalyse mit den Zeilen „Durch die Gerade erklärt“, „Nicht erklärt“ und „Gesamt“ sowie den Spalten „Quelle“, „df“, „Summe der Quadrate“, „Mittleres Quadrat“, „F“ und „p“ dargestellt.
Konfidenzintervalle und Vorhersagen
Bei der Vorhersage eines Wertes y₀ an einer Stelle x₀ berechnet das Tool zwei Arten von Intervallen auf Basis des gewählten Konfidenzniveaus (90%, 95% oder 99%):
- Mittelwert-Intervall (Konfidenzintervall für die Regressionsgerade): Es schätzt die Unsicherheit der Lage der Geraden selbst. Der Standardfehler für die mittlere Antwort lautet: SE_(mean) = s · √(1 / n + ((x₀ - x̄)²) / Sₓₓ)
- Individuelles Intervall (Prognoseintervall für Einzelbeobachtungen): Es berücksichtigt zusätzlich die Streuung der einzelnen Datenpunkte um die Gerade. Der Standardfehler für eine neue Einzelbeobachtung lautet: SE_(ind) = s · √(1 + 1 / n + ((x₀ - x̄)²) / Sₓₓ)
Weil das Prognoseintervall die zusätzliche Varianz der Einzelwerte abdecken muss, ist das individuelle Intervall stets breiter als das Mittelwert-Intervall. Beide Intervalle werden breiter, je weiter sich der gewählte Wert x₀ vom Mittelwert x entfernt.
Dateneingabe, Grenzfälle und Fehlermeldungen
Das Tool verarbeitet Daten über zwei Layouts: „Paarweise Zeilen“ oder „Zwei Listen“. Es rechnet automatisch im Hintergrund, während der Nutzer tippt; eine separate Schaltfläche zur Berechnung existiert nicht.
Eingaberegeln und Formatierung
- Dezimaltrennzeichen: Unterstützt werden Punkt (z. B.
12.5) und Komma (z. B.12,5). - Trennzeichen in Listen: Bei Verwendung des Punkt-Dezimalformats müssen Werte durch Leerzeichen, Kommas oder Zeilenumbrüche getrennt werden. Bei Verwendung des Komma-Dezimalformats dienen Leerzeichen, Semikolons oder Zeilenumbrüche als Trenner.
- Kopfzeilen: Wenn die erste Zeile beim Einfügen aus einer Tabellenkalkulation nicht-numerische Zeichen enthält, wird sie als Spaltenüberschrift erkannt und automatisch übersprungen.
- Variable tauschen: Die Funktion „x und y vertauschen“ schreibt die Spalten direkt um. Da OLS nur vertikale Abstände minimiert, ändern sich dadurch Steigung und Achsenabschnitt; die Korrelationsmaße r und R² bleiben unverändert.
Mathematische Grenzfälle und Fehlermeldungen
- Weniger als 2 Punkte: Es wird die Fehlermeldung ausgegeben: „Geben Sie mindestens 2 Punkte ein; ein einzelner Punkt definiert keine Gerade.“
- Genau zwei Punkte: Die Gerade wird exakt interpoliert. Das Tool meldet: „Zwei Punkte legen die Gerade exakt fest, sodass keine Daten verbleiben, um die Unsicherheit zu schätzen.“
- Perfekte Anpassung: Liegen alle Punkte fehlerfrei auf einer Linie, erscheint die Meldung: „Die Punkte liegen exakt auf der Geraden, sodass keine Residuenstreuung existiert und kein Intervall oder p-Wert geschätzt werden kann.“
- Konstante Y-Werte: Ist die Steigung exakt null, erscheint: „Jeder y-Wert ist identisch, sodass die Gerade flach ist und r, R² sowie der Signifikanztest undefiniert sind.“
- Konstante X-Werte (Vertikale Gerade): Führt zur Division durch Null. Das Tool bricht ab mit der Fehlermeldung: „Jeder x-Wert ist identisch, sodass die Gerade vertikal wäre und die Steigung durch Null teilen würde.“
- Eingabebeschränkungen: Das Tool verarbeitet maximal 50.000 Punkte (bzw. 1 MB Text) und bis zu 50 Vorhersagewerte gleichzeitig. Bei Überschreitung erscheinen entsprechende Fehlermeldungen wie „Bitte halten Sie die Daten unter 50000 Punkten.“ oder „Sagen Sie maximal 50 Werte gleichzeitig voraus.“. Bei extremen Werten schützt die Meldung „Ein Wert oder ein Zwischenergebnis überschreitet den unterstützten Zahlenbereich.“ vor numerischem Überlauf.
Datenschutz und lokale Verarbeitung
Sämtliche Berechnungen und Dateneingaben erfolgen vollständig lokal im Webbrowser des Nutzers. Es findet keine Übertragung, Speicherung oder Verarbeitung von Daten auf externen Servern statt.
Häufig gestellte Fragen (FAQ)
Warum werden Vorhersagen mit zwei Intervallen ausgegeben?
Sie beantworten unterschiedliche Fragen. Das Mittelwert-Intervall fragt, wo der durchschnittliche y-Wert für alle Personen bei diesem x-Wert liegt, sodass nur die Unsicherheit der Geraden selbst zählt. Das individuelle Intervall fragt, wo eine einzelne neue Beobachtung landen wird, was die Streuung der Punkte um die Gerade hinzurechnet – dieser zusätzliche Term ist der Grund, warum es immer das breitere der beiden Intervalle ist. Beide Intervalle werden breiter, je weiter sich x von der Mitte Ihrer Daten entfernt.
Bedeutet ein kleiner p-Wert, dass x die Ursache für y ist?
Nein. Der p-Wert beantwortet nur eine eng gefasste Frage: Wenn die tatsächliche Steigung 0 wäre, wie oft würde eine Stichprobe dieser Größe eine Steigung erzeugen, die mindestens so weit von 0 entfernt ist? Ein kleiner Wert macht die Annahme „keinerlei Beziehung“ lediglich zu einer unplausiblen Erklärung, mehr nicht. Kausalität erfordert ein entsprechendes Studiendesign – ein dritter Faktor, der beide Spalten beeinflusst, oder eine nicht unabhängig erhobene Stichprobe erzeugen ebenso leicht kleine p-Werte.
Was sagt mir R² tatsächlich?
R² ist der Anteil der Auf- und Abwärtsbewegung in y, den die Gerade erklärt: 0,96 bedeutet, dass 96 % davon mit x übereinstimmen und 4 % nicht. Es sagt nichts darüber aus, ob eine gerade Linie die richtige Form war – eine deutliche Kurve kann dennoch einen hohen Wert erzielen –, lesen Sie es daher immer zusammen mit dem Residuendiagramm. Die Korrelation r is die Quadratwurzel aus R² mit dem Vorzeichen der Steigung, weshalb r bei einer fallenden Geraden negativ ist.
Spielt es eine Rolle, welche Spalte ich für x verwende?
Ja. Die Methode der kleinsten Quadrate minimiert die vertikalen Abstände, behandelt also y als die zu erklärende Variable und x als die erklärende Variable. Wenn Sie diese vertauschen, erhalten Sie eine andere Steigung und einen anderen Achsenabschnitt – nur r und R² bleiben gleich. Tragen Sie die Variable, die Sie vorhersagen möchten, bei y ein; falls die Spalten falsch herum eingegeben wurden, schreibt die Vertauschen-Schaltfläche sie direkt vor Ort um.