Suy Giảm Độ Dốc Là Gì? Cách Mô Hình Học Từ Sai Số
Suy giảm độ dốc, hay giảm độ dốc (gradient descent), là thuật toán tối ưu lặp dùng để huấn luyện mô hình bằng cách tính gradien của hàm mất mát, rồi cập nhật tham số theo hướng ngược lại để giảm dần sai số cho đến khi đạt giá trị cực tiểu.
Phép loại trực quan
Hãy tưởng tượng đi xuống một ngọn đồi trong sương mù dày. Thung lũng không nhìn thấy, nhưng độ dốc dưới chân vẫn cảm nhận được. Mỗi bước đi theo hướng mặt đất dốc xuống nhất, rồi lại dừng để cảm nhận độ dốc, cho đến khi chạm vùng đất bằng. Suy giảm độ dốc hoạt động tương tự, nhưng đối tượng được quan sát là độ dốc của hàm mất mát.
Gradien là gì
Gradien là một vectơ mở rộng khái niệm đạo hàm cho nhiều biến, chỉ về hướng hàm tăng nhanh nhất. Vì huấn luyện nhằm giảm sai số, mô hình dịch chuyển theo hướng âm của gradien. Tại điểm cực tiểu, gradien có giá trị gần bằng không.
Các bước hoạt động
Quy tắc cập nhật cơ bản là:
[ \theta_{\text{mới}} = \theta_{\text{cũ}} - \eta \nabla L(\theta) ]
trong đó (\theta) là tham số, (\eta) là tốc độ học, và (\nabla L) là gradien của hàm mất mát. Một vòng lặp gồm:
- Chọn giá trị khởi tạo cho tham số, thường là ngẫu nhiên.
- Tính dự đoán và hàm mất mát.
- Tính gradien cho từng tham số.
- Cập nhật tham số theo hướng âm của gradien.
- Lặp lại cho đến khi thay đổi rất nhỏ hoặc đạt số vòng lặp tối đa.
Các biến thể thường gặp
| Biến thể | Dữ liệu dùng mỗi bước | Đặc điểm |
|---|---|---|
| Suy giảm độ dốc theo lô | Toàn bộ tập dữ liệu | Ổn định nhưng chậm trên dữ liệu lớn |
| Suy giảm độ dốc ngẫu nhiên (SGD) | Một mẫu ngẫu nhiên | Nhanh nhưng nhiều nhiễu |
| Suy giảm độ dốc mini-batch | Một nhóm nhỏ mẫu | Cân bằng giữa ổn định và tốc độ |
Vai trò của tốc độ học
Tốc độ học quyết định độ dài mỗi bước. Giá trị quá lớn có thể làm mô hình nhảy qua điểm cực tiểu hoặc mất ổn định, trong khi giá trị quá nhỏ khiến quá trình huấn luyện kéo dài. Với hàm lồi và tốc độ học đủ nhỏ, thuật toán có thể tiến gần đến cực tiểu toàn cục.
Hạn chế cần trung thực
Với hàm không lồi, thuật toán có thể dừng lại ở một cực tiểu cục bộ thay vì cực tiểu toàn cục. Kết quả cũng phụ thuộc vào điểm khởi tạo, nên mô hình thường được chạy nhiều lần với các cách khởi tạo khác nhau.
FAQ
Suy giảm độ dốc là gì một cách ngắn gọn?
Thuật toán tối ưu lặp cập nhật tham số theo hướng âm của gradien nhằm giảm hàm mất mát.
Gradien khác đạo hàm ở điểm nào?
Đạo hàm thường dùng cho một biến, còn gradien là vectơ đạo hàm cho nhiều biến.
Vì sao SGD nhiều nhiễu hơn?
Vì mỗi bước chỉ dùng một mẫu nên hướng gradien có thể thay đổi liên tục, dù trung bình vẫn giảm.
Rủi ro khi tốc độ học quá lớn là gì?
Mô hình có thể nhảy qua điểm cực tiểu hoặc khiến hàm mất mát mất ổn định thay vì giảm.
Ý chính
- Suy giảm độ dốc giảm hàm mất mát một cách lặp đi lặp lại.
- Tham số dịch chuyển theo hướng âm của gradien.
- Batch, stochastic, và mini-batch là các biến thể thường gặp.
- Tốc độ học điều chỉnh độ dài mỗi bước.
Đọc tiếp hồi quy tuyến tính và machine learning là gì.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free