Regularization Là Gì? Cách Giảm Overfitting Trong Học Máy

Updated · By Viviai

Regularization (điều chuẩn) là nhóm kỹ thuật trong học máy nhằm ràng buộc hoặc phạt độ phức tạp của mô hình, để mô hình không học vẹt dữ liệu huấn luyện mà tổng quát hóa tốt hơn trên dữ liệu mới. Cách phổ biến là thêm một số hạng phạt vào hàm mất mát, khiến các trọng số quá lớn bị phạt và giảm nguy cơ overfitting (quá khớp).

Trực giác đơn giản

Hãy hình dung hai học sinh cùng ôn thi. Người thứ nhất học thuộc mọi ghi chú, cả ví dụ hiếm chỉ được nhắc một lần; điểm bài tập cao nhưng điểm thi thật thấp. Người thứ hai chỉ nắm các quy tắc cốt lõi; điểm bài tập thấp hơn một chút nhưng điểm thi ổn định.

Regularization vận hành như kỷ luật của người thứ hai. Nó đẩy mô hình về phía các mẫu chung đơn giản thay vì học thuộc nhiễu và biến động ngẫu nhiên trong dữ liệu.

Vì sao cần điều chuẩn

Khi mô hình quá mạnh hoặc có nhiều đặc trưng, nó có thể bám quá sát dữ liệu huấn luyện, kể cả phần nhiễu. Tình trạng này gọi là overfitting: trên dữ liệu đã gặp kết quả tốt, trên dữ liệu mới kết quả kém.

Tài liệu Dive into Deep Learning bản tiếng Việt cho thấy nếu không có ràng buộc, mô hình có đủ linh hoạt đẩy sai số huấn luyện về rất nhỏ. Điều chuẩn giới hạn sự linh hoạt này bằng một số hạng phạt, giúp cân bằng giữa việc khớp dữ liệu và giữ mô hình đơn giản.

L1 và L2: hai dạng phạt phổ biến

Tiêu chí L1 (hồi quy Lasso) L2 (hồi quy Ridge)
Số hạng phạt Tổng giá trị tuyệt đối của hệ số Tổng bình phương hệ số
Tác động lên trọng số Một số về đúng bằng 0 Tất cả co lại, hiếm khi chạm 0
Chọn đặc trưng Có, tự động Không
Mô hình Thưa (sparse), ít đặc trưng hoạt động Đặc, nhiều đặc trưng với trọng số nhỏ
Thường dùng khi Nhiều đặc trưng không liên quan Phần lớn đặc trưng đều liên quan

L2 (Ridge) hoạt động thế nào

L2 phạt theo tỷ lệ với bình phương độ lớn của hệ số. Hệ số càng lớn, mức phạt càng cao, nên mô hình được thúc đẩy giảm trọng số. Từ khóa là co lại: L2 kéo các hệ số về phía 0 nhưng thường không xóa hẳn, nhờ đó mỗi đặc trưng vẫn đóng góp phần nào.

Trong huấn luyện theo gradient, L2 thường được gọi là phân rã trọng lượng (weight decay) vì trọng số teo nhỏ một chút sau mỗi bước cập nhật.

L1 (Lasso) hoạt động thế nào

L1 phạt giá trị tuyệt đối của hệ số thay vì bình phương. Lực kéo giữ nguyên độ lớn cho đến khi hệ số chạm 0, nên nhiều hệ số yếu bị đẩy về đúng bằng 0. Đây là lý do L1 đóng vai trò chọn đặc trưng tự động và tạo ra mô hình đơn giản, dễ giải thích.

Viblo lưu ý rằng Lasso không có nghiệm dạng đóng như Ridge vì giá trị tuyệt đối không có đạo hàm tại 0; thay vào đó người ta dùng các phương pháp như coordinate descent hoặc subgradient descent.

Các kỹ thuật điều chuẩn khác

Ngoài phạt trọng số, một số kỹ thuật khác cũng được dùng để giảm overfitting:

Vai trò của alpha và lambda

Độ mạnh của số hạng phạt do một siêu tham số điều khiển, thường ký hiệu là alpha (α) hoặc lambda (λ). Giá trị nhỏ chỉ ràng buộc nhẹ, giá trị lớn ép mô hình mạnh hơn. Nếu quá lớn, mô hình có thể trở nên quá đơn giản và rơi vào underfit, nên giá trị này thường được chọn qua kiểm định chéo.

Ưu điểm và hạn chế

Điều chuẩn giúp mô hình ổn định hơn trên dữ liệu mới và cải thiện cân bằng độ chệch-phương sai: chấp nhận tăng nhẹ độ chệch để đổi lại mức giảm phương sai lớn hơn. Mặt khác, mức phạt quá mạnh có thể loại bỏ cả mẫu hữu ích, và việc chọn loại cùng cường độ điều chuẩn cần kiểm tra trên từng bộ dữ liệu.

FAQ

Regularization là gì, nói ngắn gọn?

Kỹ thuật thêm số hạng phạt để giới hạn độ phức tạp, giúp mô hình học mẫu chung thay vì học thuộc nhiễu của dữ liệu huấn luyện.

L1 và L2 khác nhau ra sao?

L1 dùng giá trị tuyệt đối và có thể đưa hệ số về đúng 0 (chọn đặc trưng), còn L2 dùng bình phương và chỉ làm trọng số co lại, không xóa hẳn.

Phân rã trọng lượng nghĩa là gì?

Cách nhìn L2 trong huấn luyện theo gradient, theo đó trọng số teo nhỏ một chút ở mỗi bước cập nhật.

Điều chuẩn có thể gây underfit không?

Có thể. Nếu phạt quá mạnh, mô hình trở nên quá đơn giản và bỏ lỡ các mẫu hữu ích.

Điểm chính

Đọc tiếp overfitting là gì và machine learning là gì.

Sources

  1. https://vi.d2l.ai/chapter_multilayer-perceptrons/weight-decay.html
  2. https://viblo.asia/p/cac-phuong-phap-tranh-overfitting-gDVK24AmlLj
  3. https://www.ultralytics.com/vi/glossary/regularization

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free