Phương pháp bình phương tối thiểu trong hồi quy tuyến tính
Hồi quy tuyến tính đơn biến là một phương pháp thống kê nền tảng dùng để mô hình hóa mối quan hệ giữa hai biến định lượng: biến dự báo (x) và biến phản hồi (y). Phương pháp bình phương tối thiểu (Ordinary Least Squares - OLS) tìm kiếm một đường thẳng sao cho tổng bình phương các khoảng cách thẳng đứng (phần dư) từ các điểm dữ liệu thực tế đến đường thẳng đó là nhỏ nhất.
Để đảm bảo độ chính xác cao và tránh mất mát dữ liệu do sai số làm tròn khi tính toán với các đại lượng có độ lớn chênh lệch, công cụ thực hiện tính toán các tổng sai lệch bình phương qua hai lượt bằng thuật toán bù tổng (compensated summation) theo tiêu chuẩn NIST/SEMATECH:
- Độ phân tán của x: Sxx = Σ(xᵢ − x̄)²
- Độ phân tán của y: Syy = Σ(yᵢ − ȳ)²
- Độ đồng biến động giữa x và y: Sxy = Σ(xᵢ − x̄)(yᵢ − ȳ)
Từ các giá trị tổng này, hệ số góc (b) và hệ số chặn (a) của đường thẳng hồi quy được xác định như sau:
- Hệ số góc b = Sxy ÷ Sxx
- Hệ số chặn a = ȳ − b·x̄
Trong đó, x̄ và ȳ lần lượt là giá trị trung bình mẫu của các biến x và y.
Ý nghĩa thực tế của các hệ số hồi quy
Khi đường thẳng hồi quy đã được thiết lập, các hệ số thu được mang ý nghĩa thực tế cụ thể đối với tập dữ liệu:
- Hệ số góc b: Cho biết mức độ thay đổi trung bình của biến phản hồi y khi biến dự báo x tăng thêm 1 đơn vị. Công cụ biểu diễn mối quan hệ này qua câu tóm tắt: "Trung bình y thay đổi một lượng là
‹slope›cho mỗi 1 đơn vị tăng thêm của x.". - Hệ số chặn a: Là giá trị dự đoán của y khi x bằng 0. Ý nghĩa này được hiển thị trực quan qua câu: "Tại nơi x bằng 0, đường thẳng nằm ở y =
‹intercept›.".
Do phương pháp bình phương tối thiểu hoạt động dựa trên việc tối thiểu hóa sai số theo chiều dọc (chiều của biến y), mối quan hệ này mang tính định hướng. Nếu người dùng sử dụng tính năng "Hoán đổi x và y", công cụ sẽ viết lại toàn bộ dữ liệu đầu vào bằng cách trao đổi vị trí hai cột cho nhau. Khi đó, phương trình đường thẳng mới sẽ thay đổi cả về hệ số góc lẫn hệ số chặn do vai trò của biến độc lập và biến phụ thuộc đã bị đảo ngược.
Đánh giá độ khớp qua r, R² và bảng ANOVA
Để đo lường mức độ hiệu quả của mô hình hồi quy, chúng ta sử dụng các chỉ số liên quan đến sự phân rã phương sai. Tổng bình phương sai lệch toàn phần (SST = Syy) được chia thành hai phần: Tổng bình phương sai lệch được giải thích bởi đường thẳng (SSR = SST − SSE) và Tổng bình phương sai lệch còn lại (SSE = Σ(yᵢ − ŷᵢ)²).
- Hệ số xác định R²: Là tỷ lệ phương sai của biến y được giải thích bởi biến x thông qua mô hình đường thẳng (R² = SSR ÷ SST). Giá trị R² nằm trong khoảng từ 0 đến 1.
- R² hiệu chỉnh (Adjusted R²): Điều chỉnh giá trị R² dựa trên số lượng bậc tự do, được tính bằng công thức: 1 − (1 − R²)(n − 1) ÷ (n − 2).
- Hệ số tương quan r: Đo lường mức độ và chiều hướng liên kết tuyến tính giữa hai biến, có giá trị bằng căn bậc hai của R² và mang dấu của hệ số góc b.
Bảng "Phương sai được giải thích" (ANOVA) phân tích chi tiết các thành phần này với các cột: "Nguồn", "df" (bậc tự do), "Tổng bình phương", "Bình phương trung bình", "F", và "p". Các hàng trong bảng bao gồm "Được giải thích bởi đường thẳng", "Còn lại", và "Tổng cộng". Đối với mô hình hồi quy đơn biến, giá trị kiểm định F của bảng ANOVA tương đương với bình phương trị thống kê t của hệ số góc, do đó cả hai kiểm định đều cho ra cùng một giá trị p.
Kiểm định giả thuyết và khoảng tin cậy
Để đánh giá xem mối quan hệ tuyến tính có ý nghĩa thống kê hay không, công cụ thực hiện kiểm định giả thuyết hai phía cho hệ số góc b với giả thuyết không là b = 0.
- Sai số chuẩn của hệ số góc: SE(b) = s ÷ √Sxx
- Sai số chuẩn của hệ số chặn: SE(a) = s · √(1÷n + x̄² ÷ Sxx)
Trong đó, s là độ phân tán phần dư, được tính bằng căn bậc hai của bình phương trung bình sai số: s = √(SSE ÷ (n − 2)).
Trị thống kê t được tính bằng tỷ số giữa giá trị ước lượng và sai số chuẩn của nó. Giá trị p được xác định dựa trên phân phối t Student với n − 2 bậc tự do thông qua hàm beta khuyết regularized. Khoảng tin cậy cho các hệ số được thiết lập theo công thức: ước lượng ± t_{1−α/2, n−2} × sai số chuẩn tương ứng.
Phân tích phần dư và dự đoán giá trị
Bên cạnh các chỉ số tóm tắt, việc phân tích phần dư (y − ŷ) đóng vai trò quyết định để kiểm tra các giả định của mô hình hồi quy. Công cụ cung cấp hai biểu đồ trực quan trong phần "Độ khớp và phần dư":
- Đường khớp: "Biểu đồ phân tán của các điểm với đường bình phương tối thiểu và dải xung quanh giá trị trung bình của nó".
- Phần dư: "Các phần dư được vẽ theo x, phân tán xung quanh đường số không".
Khi nhập các giá trị x cụ thể vào mục "Dự đoán y tại x", công cụ sẽ tính toán giá trị dự đoán ŷ₀ = a + b·x₀ và cung cấp hai loại khoảng tin cậy ở mức độ tin cậy đã chọn (90%, 95% hoặc 99%):
- Khoảng trung bình (Confidence Interval): Ước lượng vị trí của giá trị trung bình y tại x₀, với sai số chuẩn: s · √(1÷n + (x₀ − x̄)² ÷ Sxx).
- Khoảng cá thể (Prediction Interval): Dự đoán phạm vi của một quan sát đơn lẻ mới tại x₀, với sai số chuẩn: s · √(1 + 1÷n + (x₀ − x̄)² ÷ Sxx). Do tính thêm độ biến động ngẫu nhiên của điểm dữ liệu mới xung quanh đường thẳng, khoảng cá thể luôn rộng hơn khoảng trung bình.
Nếu giá trị x cần dự đoán nằm ngoài phạm vi của dữ liệu đầu vào, công cụ sẽ hiển thị nhãn "nằm ngoài dữ liệu" kèm theo cảnh báo: "Các hàng được đánh dấu sử dụng giá trị x vượt quá các giá trị bạn đã nhập, vì vậy đường thẳng đang được kéo dài ra ngoài những gì dữ liệu hiển thị.".
Hướng dẫn nhập liệu và các giới hạn kỹ thuật
Công cụ hỗ trợ hai loại bố cục nhập liệu linh hoạt:
- Các hàng theo cặp: Nhập x trước, sau đó đến y trên mỗi dòng. Hỗ trợ sao chép và dán trực tiếp hai cột từ bảng tính (như Excel hoặc Google Sheets), tự động bỏ qua hàng tiêu đề đầu tiên nếu chứa ký tự không phải là số.
- Hai danh sách: Nhập riêng biệt "giá trị x (biến dự báo)" và "giá trị y (biến phản hồi)".
Quy tắc phân tách ký tự phụ thuộc vào tùy chọn dấu thập phân:
- Nếu dùng dấu chấm (ví dụ:
12.5): Phân tách các số bằng dấu cách, dấu phẩy hoặc xuống dòng. - Nếu dùng dấu phẩy (ví dụ:
12,5): Phân tách các số bằng dấu cách, dấu chấm phẩy hoặc xuống dòng.
Các giới hạn và thông báo lỗi hệ thống:
- Giới hạn dữ liệu: Tối thiểu 2 điểm, tối đa 50.000 điểm và dung lượng văn bản dán không quá 1 MB. Nếu vượt quá, hệ thống báo lỗi: "Giữ dữ liệu dưới 50,000 điểm.".
- Giới hạn dự đoán: Tối đa 50 giá trị cùng lúc. Nếu vượt quá, hệ thống báo lỗi: "Dự đoán tối đa 50 giá trị cùng một lúc.".
- Lỗi định dạng:
- "“
‹token›” không phải là một số (hàng‹position›)." - "“
‹token›” không phải là một số (giá trị‹position›)." - "Hàng
‹position›cần chính xác hai số: x sau đó đến y." - "Có
‹countX›giá trị x và‹countY›giá trị y — các danh sách phải có cùng độ dài."
- "“
- Lỗi tính toán: "Một giá trị hoặc kết quả trung gian vượt quá phạm vi số được hỗ trợ.".
Các trường hợp đặc biệt:
- Chỉ có 2 điểm: "Hai điểm xác định chính xác đường thẳng, vì vậy không còn gì để ước lượng độ không đảm bảo.".
- Các điểm thẳng hàng tuyệt đối: "Các điểm nằm chính xác trên đường thẳng, vì vậy không có độ phân tán phần dư và không thể ước lượng khoảng tin cậy hoặc giá trị p.".
- Mọi giá trị y trùng nhau: "Mọi giá trị y đều giống nhau, vì vậy đường thẳng nằm ngang và r, R² cùng kiểm định ý nghĩa không được xác định.".
- Mọi giá trị x trùng nhau: "Mọi giá trị x đều giống nhau, vì vậy đường thẳng sẽ là đường thẳng đứng và hệ số góc sẽ chia cho không.".
Mọi quá trình xử lý dữ liệu và tính toán số liệu thống kê đều diễn ra trực tiếp trong trình duyệt web của người dùng; không có bất kỳ dữ liệu nào được tải lên máy chủ bên ngoài.
Câu hỏi thường gặp
Việc tôi đặt cột nào vào x có quan trọng không? Có. Phương pháp bình phương tối thiểu giảm thiểu các khoảng cách thẳng đứng, vì vậy nó coi y là thứ được giải thích và x là thứ dùng để giải thích. Hoán đổi chúng và bạn sẽ nhận được một hệ số góc khác và một hệ số chặn khác — chỉ có r và R² là giữ nguyên. Hãy đặt biến bạn muốn dự đoán vào y; nếu các cột bị nhập ngược, nút hoán đổi sẽ viết lại chúng ngay tại chỗ.
R² thực sự cho tôi biết điều gì? R² là tỷ lệ chuyển động lên xuống của y mà đường thẳng giải thích được: 0,96 có nghĩa là 96% trong số đó thẳng hàng với x và 4% thì không. Nó không nói lên điều gì về việc liệu một đường thẳng có phải là hình dạng phù hợp hay không — một đường cong rõ ràng vẫn có thể đạt điểm cao — vì vậy hãy đọc nó bên cạnh biểu đồ phần dư. Hệ số tương quan r là căn bậc hai của R² mang dấu của hệ số góc, đó là lý do tại sao r âm đối với một đường đi xuống.
Tại sao các dự đoán lại đi kèm với hai khoảng? Chúng trả lời các câu hỏi khác nhau. Khoảng trung bình hỏi xem giá trị y trung bình nằm ở đâu cho tất cả mọi người tại giá trị x đó, vì vậy chỉ tính đến độ không đảm bảo trong chính đường thẳng đó. Khoảng cá thể hỏi xem một quan sát mới sẽ rơi vào đâu, điều này cộng thêm độ phân tán của các điểm xung quanh đường thẳng — số hạng bổ sung đó là lý do tại sao nó luôn rộng hơn trong hai khoảng. Cả hai khoảng đều rộng hơn khi x di chuyển ra xa khỏi phần giữa của dữ liệu của bạn.
Giá trị p nhỏ có nghĩa là x gây ra y không? Không. Giá trị p chỉ trả lời một câu hỏi hẹp: nếu hệ số góc thực sự bằng 0, thì một mẫu có kích thước này sẽ tạo ra một hệ số góc cách xa 0 ít nhất là như thế này với tần suất bao nhiêu?. Một giá trị nhỏ chỉ làm cho lời giải thích “không có mối quan hệ nào cả” trở nên không hợp lý, không hơn không kém. Nguyên nhân cần có thiết kế nghiên cứu đằng sau nó — một yếu tố thứ ba làm di chuyển cả hai cột, hoặc một mẫu không được thu thập độc lập, cũng dễ dàng tạo ra các giá trị p nhỏ.