Калкулатор за линейна регресия

Математически основи на линейната регресия по метода на най-малките квадрати

Методът на най-малките квадрати (Ordinary Least Squares — OLS) е стандартният математически подход за намиране на права линия, която най-добре описва връзката между две количествени променливи. При този модел се приема, че независимата променлива (predictor) x влияе върху зависимата променлива (response) y. Целта е да се определят наклонът b и свободният член a в уравнението на правата:

ŷ = a + b·x

За да се постигне максимална изчислителна точност и да се избегне загубата на прецизност при работа с числа с голяма разлика в порядъка, изчисленията се извършват на два паса с компенсирано сумиране. Първо се изчисляват средните аритметични стойности на двете променливи:

x̄ = Σxᵢ ÷ n ȳ = Σyᵢ ÷ n

След това се определят сумите от квадратите на отклоненията около средните стойности (Sxx, Syy) и сумата от произведенията на отклоненията (Sxy):

Sxx = Σ(xᵢ − x̄)² Syy = Σ(yᵢ − ȳ)² Sxy = Σ(xᵢ − x̄)(yᵢ − ȳ)

На базата на тези междинни суми се изчисляват основните параметри на регресионната права:

• Наклон b: b = Sxy ÷ Sxx. Той показва с колко единици се променя зависимата променлива y при увеличение на независимата променлива x с една единица.
• Свободен член a: a = ȳ − b·x̄. Това е стойността на y в точката, където регресионната права пресича вертикалната ос (при x = 0).

Оценка на качеството на модела: r, R² и коригиран R²

След напасването на правата е необходимо да се оцени доколко добре моделът описва реалните данни. За тази цел се използват няколко статистически показателя:

• Корелация r: Изразява силата и посоката на линейната връзка между двете променливи. Тя се изчислява като Sxy ÷ √(Sxx·Syy) и носи знака на наклона b.
• Коефициент на детерминация R²: Представлява делът от общата дисперсия на зависимата променлива y, който се обяснява от регресионния модел. Изчислява се чрез сумата от квадратите на регресията (SSR) и общата сума от квадрати (SST): R² = SSR ÷ SST където SST = Syy, а SSE = Σ(yᵢ − ŷᵢ)² (сума от квадратите на остатъците), което дава SSR = SST − SSE.
• Коригиран R²: Коригира стойността на R² спрямо броя на степените на свобода, което е особено полезно при сравняване на модели с различен обем данни: Коригиран R² = 1 − (1 − R²)(n − 1) ÷ (n − 2).

Проверка на хипотези и статистическа значимост

За да се определи дали наблюдаваната връзка между x и y е статистически значима, се извършва t-тест на наклона b. Нулевата хипотеза предполага, че истинският наклон в генералната съвкупност е равен на нула (т.е. няма линейна връзка).

Стандартната грешка на наклона се изчислява по формулата:

SE(b) = s ÷ √Sxx

където s е остатъчното стандартно отклонение (остатъчно разсейване), дефинирано като:

s = √(SSE ÷ (n − 2))

Тестовата статистика t се определя като отношението на оценката на наклона към неговата стандартна грешка:

t = b ÷ SE(b)

Стойността p-value се изчислява двустранно на базата на t-разпределението с n − 2 степени на свобода, използвайки регуляризираната непълна бета-функция. Тъй като моделът съдържа само един предиктор, общата F-статистика от дисперсионния анализ (ANOVA) е равна на квадрата на t-статистиката за наклона (F = t²), което означава, че и двата теста винаги дават идентично p-value.

Доверителни и прогнозни интервали

При прогнозиране на стойности на y за дадено x₀ се разграничават два вида интервали при избрана доверителна вероятност (90%, 95% или 99%):

1. Доверителен интервал за средната стойност (Mean interval): Оценява несигурността при определяне на позицията на самата регресионна права. Стандартната грешка за средната стойност се изчислява като: SE_mean = s · √(1÷n + (x₀ − x̄)² ÷ Sxx)
2. Прогнозен интервал за индивидуално наблюдение (Individual interval): Оценява къде би попаднала конкретна нова точка. Той включва както несигурността на самата права, така и естественото разсейване на данните около нея, поради което винаги е по-широк: SE_individual = s · √(1 + 1÷n + (x₀ − x̄)² ÷ Sxx)

И двата интервала се разширяват прогресивно, когато стойността x₀ се отдалечава от средното аритметично x̄.

Работа с калкулатора и въвеждане на данни

Инструментът позволява гъвкаво въвеждане на данни чрез два основни режима на оформление:

• Сдвоени редове: Потребителят въвежда по едно x и y на ред. Този режим поддържа директно копиране и поставяне на две колони от електронни таблици. Ако първият ред съдържа нечислови стойности, той автоматично се разпознава като заглавен ред и се прескача.
• Два списъка: Данните се въвеждат в две отделни полета — „стойности за x (независима променлива)“ и „стойности за y (зависима променлива)“.

В зависимост от избрания десетичен разделител се прилагат следните правила за разграничаване на стойностите:

• При използване на точка за десетичен знак (например 12.5), стойностите в списъците се разделят с интервали, запетаи или нови редове.
• При използване на запетая за десетичен знак (например 12,5), стойностите се разделят с интервали, точка и запетая или нови редове.

Изчисленията се извършват в реално време директно в уеб браузъра на потребителя, без да е необходимо натискането на бутон за изчисление. Всички въведени данни и междинни резултати се обработват локално и никога не се изпращат към външни сървъри.

Гранични условия и съобщения за грешки

Калкулаторът следи за спазването на математическите ограничения и обема на данните:

• Минимум данни: Изискват се поне 2 точки. При по-малко се извежда грешка: „Въведете поне 2 точки; една точка не дефинира права.“.
• Максимален обем: Поддържат се до 50 000 точки и до 1 MB копиран текст. При надхвърляне се показва: „Ограничете данните до под ‹max› точки.“.
• Еднакви стойности на x: Ако всички стойности на x са идентични, правата би била вертикална, което води до деление на нула. Калкулаторът спира работа с грешката: „Всички стойности на x са еднакви, така че правата би била вертикална и наклонът изисква деление на нула.“.
• Еднакви стойности на y: Ако всички y са еднакви, правата е напълно хоризонтална. Показва се съобщението: „Всяко y е еднакво, така че правата е хоризонтална и r, R² и тестът за значимост са недефинирани.“.
• Точно две точки: Когато са въведени точно две точки, правата се напасва без остатъчна дисперсия. Показва се съобщението: „Две точки определят правата точно, така че не остава нищо, от което да се оцени несигурността.“.
• Перфектно напасване: Ако всички точки лежат точно върху правата, се извежда: „Точките лежат точно върху правата, така че няма остатъчно разсейване и не могат да бъдат оценени доверителни интервали или p-value.“.

Често задавани въпроси (FAQ)

Има ли значение коя колона ще поставя като x?

Да. Методът на най-малките квадрати минимизира вертикалните отклонения, така че разглежда y като обясняваната величина, а x — като обясняващата. Разменете ги и ще получите различен наклон и различен свободен член — само r и R² остават същите. Поставете променливата, която искате да прогнозирате, в y; ако сте въвели колоните наобратно, бутонът за размяна ще ги пренапише на местата им.

Какво всъщност ми показва R²?

R² е делът от вариацията на y, който се обяснява от правата: 0,96 означава, че 96% от нея съответства на x, а 4% не съответства. Това не показва дали правата линия е била правилната форма — изразена крива също може да има висок резултат — затова го разглеждайте заедно с графиката на остатъците. Корелацията r е корен квадратен от R² със знака на наклона, поради което r е отрицателно число при низходяща права.

Означава ли малката стойност на p-value, че x е причина за y?

Не. Стойността p-value отговаря само на един конкретен въпрос: ако истинският наклон беше 0,ковко често извадка с такъв размер би дала наклон, поне толкова отдалечен от 0? Малката стойност просто прави обяснението „няма никаква връзка“ малко вероятно, нищо повече. Причинно-следствената връзка изисква подходящ дизайн на изследването — трети фактор, влияещ и на двете колони, или извадка, която не е събрана независимо, също толкова лесно могат да доведат до малки стойности на p-value.

Защо прогнозите се предоставят с два интервала?

Те отговарят на различни въпроси. Средният интервал показва къде се намира средното y за всички обекти при дадено x, така че се отчита само несигурността в самата права. Индивидуалният интервал показва къде ще попадне едно ново единично наблюдение, което добавя и разсейването на точките около правата — този допълнителен член е причината той винаги да е по-широкият от двата. И двата интервала се разширяват, когато x се отдалечава от средата на вашите данни.