Gradient Boosting là gì? Cách XGBoost hoạt động cho người mới
Gradient boosting là một kỹ thuật học tổ hợp (ensemble) xây dựng nhiều mô hình yếu, thường là cây quyết định nông, theo từng bước tuần tự. Mỗi cây mới được huấn luyện để sửa lỗi mà các cây trước đó để lại bằng cách khớp với gradient âm của hàm mất mát, rồi thêm một hiệu chỉnh nhỏ vào dự đoán. Kỹ thuật này do Jerome Friedman phổ biến và là nền tảng của XGBoost, LightGBM cùng CatBoost.
Trực giác đơn giản
Hãy hình dung một học sinh làm bài, giáo viên chấm và đánh dấu những phần còn sai. Học sinh ôn lại đúng phần sai, giáo viên lại chỉ ra lỗi còn lại, và cứ thế cho đến khi kết quả cải thiện.
Gradient boosting vận hành theo cách tương tự. Mô hình đầu tiên đưa ra dự đoán ban đầu, mô hình kế tiếp tập trung vào phần dư (residual), mô hình sau đó lại truy bắt lỗi chưa được giải quyết. Tổng của tất cả các mô hình tạo thành dự đoán cuối cùng. Thay vì một cây lớn cứng nhắc, thuật toán dùng nhiều cây nhỏ bổ trợ lẫn nhau.
Bộ học yếu và mô hình mạnh
Bộ học yếu (weak learner) là mô hình đơn giản, chỉ tốt hơn đoán ngẫu nhiên một chút. Trong gradient boosting, cây quyết định nông thường đóng vai trò bộ học yếu.
Sức mạnh không nằm ở một cây riêng lẻ, mà ở cách kết hợp nhiều cây yếu thành một mô hình mạnh. Mỗi cây sửa điểm yếu của nhóm cây trước, khiến tổng sai số giảm dần theo từng bước.
Vai trò của gradient và hàm mất mát
Tên gọi gradient boosting xuất phát từ cách chọn cây mới. Ở mỗi bước, thuật toán tính gradient âm của hàm mất mát đối với dự đoán hiện tại, rồi huấn luyện cây mới để khớp hướng đó.
- Với hồi quy dùng sai số bình phương (squared error), gradient này rất đơn giản: giá trị thực tế trừ giá trị dự đoán, chính là phần dư.
- Với các trường hợp khác như log-loss trong phân loại, công thức thay đổi nhưng ý tưởng giữ nguyên: gradient cho biết hướng và mức độ hiệu chỉnh để giảm mất mát.
Nhờ sự tổng quát hóa này, một khung thuật toán có thể dùng nhiều hàm mất mát cho cả hồi quy lẫn phân loại.
Các bước của gradient boosting
- Bắt đầu bằng một dự đoán hằng số, ví dụ trung bình của mục tiêu trong hồi quy.
- Tính phần dư hay gradient âm của mô hình hiện tại.
- Huấn luyện cây mới để khớp gradient đó.
- Thêm dự đoán của cây với trọng số nhỏ do tốc độ học (learning rate) điều chỉnh.
- Lặp lại cho đến khi đạt số cây hoặc kết quả trên tập kiểm định không còn cải thiện.
Tính tuần tự này khác với rừng ngẫu nhiên, nơi nhiều cây được huấn luyện độc lập rồi lấy trung bình.
Gradient boosting so với rừng ngẫu nhiên
| Khía cạnh | Gradient boosting | Rừng ngẫu nhiên |
|---|---|---|
| Cách huấn luyện | Tuần tự, cây sau sửa lỗi cây trước | Song song, các cây độc lập |
| Trọng tâm | Truy bắt phần dư còn lại | Giảm phương sai bằng trung bình |
| Chỉnh tham số | Nhạy hơn, cần kiểm soát quá khớp | Ổn định với cấu hình mặc định |
| Thế mạnh | Dữ liệu bảng có cấu trúc | Tổng quát, chịu nhiễu tốt |
XGBoost, LightGBM và CatBoost
| Thư viện | Đặc điểm | Khi nào nên dùng |
|---|---|---|
| XGBoost | Điều chuẩn L1/L2, xén tỉa, xử lý giá trị thiếu | Hệ thống cân bằng, đáng tin cậy |
| LightGBM | Lớn theo lá, histogram, huấn luyện nhanh | Tập dữ liệu lớn, lặp nhanh |
| CatBoost | Xử lý đặc trưng phân loại ngay từ đầu | Nhiều đặc trưng phân loại cardinality cao |
Viblo ghi nhận XGBoost kết hợp tối ưu thuật toán với phần cứng, hỗ trợ hồi quy, phân loại và xếp hạng, trong khi Ultralytics giải thích rằng XGBoost thêm điều chuẩn để phạt các mô hình quá phức tạp và song song hóa khi dựng cây, giúp tăng tốc mà vẫn giữ chất lượng dự đoán. VietJack cũng lưu ý XGBoost nổi bật nhờ hiệu suất cao, xử lý nhanh và chống quá khớp tốt.
Cách tránh quá khớp
Vì cây cứ được thêm vào, mô hình có thể ghi nhớ dữ liệu huấn luyện. Một số biện pháp thường dùng:
- Tốc độ học nhỏ: mỗi cây chỉ đóng góp một hiệu chỉnh nhỏ, kết quả mượt hơn.
- Dừng sớm (early stopping): dừng khi kết quả kiểm định không cải thiện sau một số vòng.
- Điều chuẩn và giới hạn độ sâu: ngăn cây trở nên quá phức tạp.
- Lấy mẫu con: mỗi cây chỉ nhìn một phần hàng hoặc đặc trưng.
Ưu điểm và hạn chế
Gradient boosting thường cho kết quả mạnh trên dữ liệu bảng có cấu trúc, xử lý cả đặc trưng số lẫn phân loại, đồng thời cung cấp độ quan trọng đặc trưng (feature importance) để giải thích. Mặt khác, việc huấn luyện tuần tự khó song song hóa hoàn toàn, nhạy cảm với tốc độ học và số lượng cây, và cần chỉnh tham số cẩn thận để không quá khớp.
FAQ
Gradient boosting là gì, nói ngắn gọn?
Kỹ thuật học tổ hợp dựng các cây quyết định tuần tự, mỗi cây sửa lỗi của cây trước thông qua gradient của hàm mất mát.
Khác gì với rừng ngẫu nhiên?
Rừng ngẫu nhiên huấn luyện các cây độc lập rồi lấy trung bình, còn gradient boosting dựng cây tuần tự để sửa lỗi dần.
Vì sao XGBoost thường được dùng?
Vì kết hợp điều chuẩn, xén tỉa, xử lý giá trị thiếu và tối ưu tốc độ, nên hiệu quả trên dữ liệu bảng.
Làm sao để tránh quá khớp?
Dùng tốc độ học nhỏ, dừng sớm, điều chuẩn và giới hạn độ sâu cùng số lượng cây.
Tóm tắt
- Gradient boosting dựng các mô hình yếu tuần tự, sửa lỗi cho nhau.
- Cây mới khớp với gradient âm của hàm mất mát.
- XGBoost, LightGBM và CatBoost là những triển khai phổ biến.
- Tốc độ học, dừng sớm và điều chuẩn giúp giữ khả năng tổng quát.
Đọc thêm [cây quyết định](cay-quyet-dinh), [điều chuẩn là gì](regularization-la-gi) và [quá khớp là gì](overfitting-la-gi).
Sources
- https://viblo.asia/p/gradient-boosting-tat-tan-tat-ve-thuat-toan-manh-me-nhat-trong-machine-learning-YWOZrN7vZQ0
- https://www.ultralytics.com/vi/blog/exploring-ensemble-learning-and-its-role-in-ai-and-ml
- https://khoahoc.vietjack.com/question/2487005/thuat-toan-xgboost-extreme-gradient-boosting-la-mot-bien-the-cua-gradi
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free