Regularization Là Gì? Cách Giảm Overfitting Trong Học Máy
Regularization (điều chuẩn) là nhóm kỹ thuật trong học máy nhằm ràng buộc hoặc phạt độ phức tạp của mô hình, để mô hình không học vẹt dữ liệu huấn luyện mà tổng quát hóa tốt hơn trên dữ liệu mới. Cách phổ biến là thêm một số hạng phạt vào hàm mất mát, khiến các trọng số quá lớn bị phạt và giảm nguy cơ overfitting (quá khớp).
Trực giác đơn giản
Hãy hình dung hai học sinh cùng ôn thi. Người thứ nhất học thuộc mọi ghi chú, cả ví dụ hiếm chỉ được nhắc một lần; điểm bài tập cao nhưng điểm thi thật thấp. Người thứ hai chỉ nắm các quy tắc cốt lõi; điểm bài tập thấp hơn một chút nhưng điểm thi ổn định.
Regularization vận hành như kỷ luật của người thứ hai. Nó đẩy mô hình về phía các mẫu chung đơn giản thay vì học thuộc nhiễu và biến động ngẫu nhiên trong dữ liệu.
Vì sao cần điều chuẩn
Khi mô hình quá mạnh hoặc có nhiều đặc trưng, nó có thể bám quá sát dữ liệu huấn luyện, kể cả phần nhiễu. Tình trạng này gọi là overfitting: trên dữ liệu đã gặp kết quả tốt, trên dữ liệu mới kết quả kém.
Tài liệu Dive into Deep Learning bản tiếng Việt cho thấy nếu không có ràng buộc, mô hình có đủ linh hoạt đẩy sai số huấn luyện về rất nhỏ. Điều chuẩn giới hạn sự linh hoạt này bằng một số hạng phạt, giúp cân bằng giữa việc khớp dữ liệu và giữ mô hình đơn giản.
L1 và L2: hai dạng phạt phổ biến
| Tiêu chí | L1 (hồi quy Lasso) | L2 (hồi quy Ridge) |
|---|---|---|
| Số hạng phạt | Tổng giá trị tuyệt đối của hệ số | Tổng bình phương hệ số |
| Tác động lên trọng số | Một số về đúng bằng 0 | Tất cả co lại, hiếm khi chạm 0 |
| Chọn đặc trưng | Có, tự động | Không |
| Mô hình | Thưa (sparse), ít đặc trưng hoạt động | Đặc, nhiều đặc trưng với trọng số nhỏ |
| Thường dùng khi | Nhiều đặc trưng không liên quan | Phần lớn đặc trưng đều liên quan |
L2 (Ridge) hoạt động thế nào
L2 phạt theo tỷ lệ với bình phương độ lớn của hệ số. Hệ số càng lớn, mức phạt càng cao, nên mô hình được thúc đẩy giảm trọng số. Từ khóa là co lại: L2 kéo các hệ số về phía 0 nhưng thường không xóa hẳn, nhờ đó mỗi đặc trưng vẫn đóng góp phần nào.
Trong huấn luyện theo gradient, L2 thường được gọi là phân rã trọng lượng (weight decay) vì trọng số teo nhỏ một chút sau mỗi bước cập nhật.
L1 (Lasso) hoạt động thế nào
L1 phạt giá trị tuyệt đối của hệ số thay vì bình phương. Lực kéo giữ nguyên độ lớn cho đến khi hệ số chạm 0, nên nhiều hệ số yếu bị đẩy về đúng bằng 0. Đây là lý do L1 đóng vai trò chọn đặc trưng tự động và tạo ra mô hình đơn giản, dễ giải thích.
Viblo lưu ý rằng Lasso không có nghiệm dạng đóng như Ridge vì giá trị tuyệt đối không có đạo hàm tại 0; thay vào đó người ta dùng các phương pháp như coordinate descent hoặc subgradient descent.
Các kỹ thuật điều chuẩn khác
Ngoài phạt trọng số, một số kỹ thuật khác cũng được dùng để giảm overfitting:
- Dropout: trong lúc huấn luyện, tắt ngẫu nhiên một phần đơn vị trong mạng để mô hình không phụ thuộc vào một đơn vị duy nhất.
- Dừng sớm (early stopping): ngừng huấn luyện khi kết quả trên tập kiểm định không còn cải thiện.
- Elastic net: kết hợp cả hai dạng phạt L1 và L2.
- Tăng cường dữ liệu (data augmentation): thêm biến thể cho dữ liệu huấn luyện để mô hình không học thuộc các mẫu cụ thể.
Vai trò của alpha và lambda
Độ mạnh của số hạng phạt do một siêu tham số điều khiển, thường ký hiệu là alpha (α) hoặc lambda (λ). Giá trị nhỏ chỉ ràng buộc nhẹ, giá trị lớn ép mô hình mạnh hơn. Nếu quá lớn, mô hình có thể trở nên quá đơn giản và rơi vào underfit, nên giá trị này thường được chọn qua kiểm định chéo.
Ưu điểm và hạn chế
Điều chuẩn giúp mô hình ổn định hơn trên dữ liệu mới và cải thiện cân bằng độ chệch-phương sai: chấp nhận tăng nhẹ độ chệch để đổi lại mức giảm phương sai lớn hơn. Mặt khác, mức phạt quá mạnh có thể loại bỏ cả mẫu hữu ích, và việc chọn loại cùng cường độ điều chuẩn cần kiểm tra trên từng bộ dữ liệu.
FAQ
Regularization là gì, nói ngắn gọn?
Kỹ thuật thêm số hạng phạt để giới hạn độ phức tạp, giúp mô hình học mẫu chung thay vì học thuộc nhiễu của dữ liệu huấn luyện.
L1 và L2 khác nhau ra sao?
L1 dùng giá trị tuyệt đối và có thể đưa hệ số về đúng 0 (chọn đặc trưng), còn L2 dùng bình phương và chỉ làm trọng số co lại, không xóa hẳn.
Phân rã trọng lượng nghĩa là gì?
Cách nhìn L2 trong huấn luyện theo gradient, theo đó trọng số teo nhỏ một chút ở mỗi bước cập nhật.
Điều chuẩn có thể gây underfit không?
Có thể. Nếu phạt quá mạnh, mô hình trở nên quá đơn giản và bỏ lỡ các mẫu hữu ích.
Điểm chính
- Điều chuẩn giới hạn độ phức tạp để giảm overfitting.
- L2 (Ridge) làm trọng số co lại; L1 (Lasso) đưa một số trọng số về 0 và chọn đặc trưng.
- Dropout, dừng sớm và elastic net là các kỹ thuật bổ trợ.
- Độ mạnh phạt do alpha hoặc lambda quyết định và cần tinh chỉnh cẩn thận.
Đọc tiếp overfitting là gì và machine learning là gì.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free