Tốc Độ Học Là Gì? Giải Thích Dễ Hiểu Cho Người Mới
Tốc độ học (tiếng Anh: learning rate, còn gọi là tỉ lệ học) là một siêu tham số trong các thuật toán tối ưu, xác định kích thước của mỗi bước cập nhật khi tham số mô hình di chuyển về phía cực tiểu của hàm mất mát. Giá trị này quyết định mô hình thay đổi trọng số nhiều hay ít ở mỗi vòng lặp và thường được viết bằng chữ cái Hy Lạp η. Đây là tham số bạn chọn trước khi huấn luyện, không phải giá trị mô hình tự học.
Cách hình dung dễ nhất là đi xuống một ngọn núi. Gradient cho biết hướng đi xuống thung lũng, còn tốc độ học quyết định độ dài mỗi bước chân. Bước quá lớn có thể bước vượt qua thung lũng, còn bước quá nhỏ khiến hành trình kéo dài.
Vấn Đề Mà Tốc Độ Học Giải Quyết
Trong machine learning, mô hình tự sửa trọng số dần dần. Mỗi vòng, nó tính khoảng chênh lệch giữa dự đoán và thực tế, rồi dựa vào gradient để điều chỉnh trọng số nhằm giảm lỗi ở lần sau. Tốc độ học đóng vai trò nhân với lượng thay đổi đó.
Tài liệu của Nha AI mô tả tốc độ học là một tham số quan trọng trong suy giảm độ dốc, quyết định tốc độ hội tụ và độ chính xác: nếu quá cao mô hình có thể không hội tụ, nếu quá thấp quá trình huấn luyện diễn ra rất chậm.
Cách Thức Hoạt Động Qua Công Thức
Với suy giảm độ dốc cơ bản, việc cập nhật trọng số tuân theo công thức:
[ \theta_{t+1} = \theta_t - \eta \, \nabla L(\theta_t) ]
Trong đó (\theta_t) là trọng số hiện tại, (\nabla L(\theta_t)) là gradient của hàm mất mát, và (\eta) là tốc độ học. Gradient quyết định hướng đi, còn (\eta) quyết định quãng đường của bước đó.
Quá Cao So Với Quá Thấp
| Tình huống | Điều xảy ra | Dấu hiệu khi huấn luyện |
|---|---|---|
| Quá cao | Bước nhảy vượt cực tiểu, có thể dao động hoặc phân kỳ | Lỗi nhảy loạn hoặc tăng lên |
| Quá thấp | Mô hình di chuyển chậm, dễ kẹt ở cực tiểu địa phương | Lỗi giảm rất chậm |
| Cân bằng | Tiến triển ổn định hướng về lỗi thấp hơn | Lỗi giảm khá đều |
Không có một con số nào phù hợp cho mọi mô hình. Giá trị hợp lý còn tùy thuộc vào thang đo dữ liệu, bộ tối ưu và cách chuẩn bị đặc trưng. Vì vậy cần thử nhiều giá trị và quan sát đường cong lỗi thay vì chọn đại một con số.
Lịch Trình Tốc Độ Học
Nhiều mô hình không giữ một giá trị cố định mà thay đổi theo lịch trình.
- Giảm theo bậc (step decay): tốc độ được hạ xuống tại một số mốc trong quá trình huấn luyện.
- Giảm theo cosine (cosine): tốc độ bám theo đường cong cosine, giảm mượt hơn.
- Khởi động (warmup): tốc độ bắt đầu nhỏ rồi tăng lên ở giai đoạn đầu, thường dùng cho mô hình lớn.
Ý tưởng khá rõ: bước lớn hữu ích ở đầu để nhanh chóng tiến gần mục tiêu, còn bước nhỏ ở cuối giúp tinh chỉnh vị trí mà không nhảy vượt cực tiểu.
Tốc Độ Học Thích Ứng
Một số bộ tối ưu điều chỉnh tốc độ cho từng tham số riêng biệt thay vì dùng một giá trị chung.
- AdaGrad: cấp tốc độ lớn hơn cho tham số ít được cập nhật, nhưng tốc độ có thể nhỏ dần theo thời gian.
- RMSProp: dùng trung bình trượt của bình phương gradient để tốc độ không co lại quá mức.
- Adam: kết hợp mô men bậc một và bậc hai kèm hiệu chỉnh độ chệch, thường được chọn làm điểm bắt đầu thực dụng.
Các bộ tối ưu thích ứng gán cho mỗi tham số một tốc độ riêng, phù hợp với dữ liệu thưa và giúp giảm tình trạng gradient quá nhỏ. Cần nhớ rằng giá trị khởi đầu của những bộ tối ưu này chỉ là xuất phát điểm, không phải lời giải đảm bảo kết quả.
Các Giá Trị Khởi Đầu Thường Gặp
| Tình huống | Khoảng giá trị thường dùng làm điểm bắt đầu |
|---|---|
| Suy giảm độ dốc cổ điển | Khoảng 0,1 đến 0,01 |
| Bộ tối ưu thích ứng như Adam | Thường bắt đầu quanh 0,001 |
| Thử nghiệm ban đầu | So sánh nhiều giá trị rồi chọn |
Những con số này chỉ là gợi ý khởi đầu. Cách đáng tin hơn là kiểm tra một vài giá trị, theo dõi đường cong lỗi và chọn giá trị giúp lỗi giảm ổn định mà không dao động.
Câu Hỏi Thường Gặp
Tốc độ học là gì một cách dễ hiểu?
Là tham số quy định độ dài bước chân của mô hình khi tự sửa lỗi. Giá trị lớn nghĩa là thay đổi nhiều trong một lần cập nhật, giá trị nhỏ nghĩa là thay đổi từng chút một.
Điều gì xảy ra nếu tốc độ học quá cao?
Mô hình có thể bước vượt điểm tốt nhất, dao động hoặc phân kỳ khiến lỗi không giảm mà còn tăng.
Điều gì xảy ra nếu giá trị quá thấp?
Quá trình huấn luyện diễn ra rất chậm, cần nhiều vòng lặp hơn và dễ kẹt ở cực tiểu địa phương chưa tối ưu.
Giá trị 0,001 có luôn đúng cho Adam không?
Không. 0,001 chỉ là điểm bắt đầu phổ biến. Giá trị tốt nhất vẫn tùy thuộc vào dữ liệu và mô hình, nên cần kiểm tra.
Khác nhau thế nào giữa lịch trình và tốc độ thích ứng?
Lịch trình thay đổi tốc độ chung theo một kế hoạch định sẵn, còn phương pháp thích ứng tính tốc độ riêng cho từng tham số dựa trên lịch sử gradient.
Tóm Tắt
Tốc độ học quy định mô hình cập nhật trọng số bao nhiêu ở mỗi bước tối ưu và được ký hiệu là η. Quá cao gây dao động hoặc phân kỳ, quá thấp khiến huấn luyện chậm. Lịch trình và bộ tối ưu thích ứng giúp điều chỉnh giá trị này trong quá trình học. Để hiểu thêm, hãy đọc về suy giảm độ dốc, mạng nơ-ron và chuẩn hóa.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free