Hàm Softmax Là Gì? Giải Thích Dễ Hiểu Cho Người Mới
Hàm softmax là một hàm biến một danh sách số thô, gọi là logits, thành một danh sách xác suất trong đó mỗi giá trị nằm trong khoảng từ 0 đến 1 và tổng tất cả các giá trị bằng 1. Nó thường được đặt ở lớp đầu ra của một mạng nơ-ron khi mô hình cần chọn một trong nhiều lớp, vì kết quả có thể đọc như độ tự tin của mô hình cho từng lựa chọn. Nếu bạn đã biết về hàm kích hoạt, softmax là hàm dùng ở lớp cuối thay vì ở các lớp ẩn.
Hàm này cũng xuất hiện trong cơ chế chú ý, nơi nó biến các điểm số thành trọng số để quyết định phần nào của đầu vào đóng góp nhiều hơn.
Softmax Hoạt Động Như Thế Nào
Với một vector logits (z) gồm (K) phần tử, softmax áp dụng hàm mũ cho từng giá trị rồi chia cho tổng của tất cả các giá trị mũ,
[ \sigma(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}} ]
Hàm mũ giúp logits lớn hơn cho ra xác suất lớn hơn, còn phép chia đảm bảo mọi giá trị cộng lại bằng một. Ngay cả một logits rất âm vẫn tạo ra một số dương nhỏ chứ không bằng không.
Một Ví Dụ Nhỏ
Giả sử một bộ phân loại ảnh vào ba lớp cho ra các logits trong bảng sau.
| Lớp | Logits thô | Xác suất softmax |
|---|---|---|
| Mèo | 2.0 | Khoảng 0.66 |
| Chó | 1.0 | Khoảng 0.24 |
| Chim | 0.1 | Khoảng 0.10 |
Các số thô chưa phải xác suất vì chúng không cộng lại bằng một và có thể âm hoặc lớn hơn một. Sau khi qua softmax, thứ tự vẫn được giữ nguyên nhưng các giá trị giờ có tổng bằng một và dễ hiểu hơn.
Vì Sao Dùng Hàm Mũ
Hàm mũ có hai đặc điểm hữu ích:
- Nó luôn dương, nên mọi đầu ra đều lớn hơn không.
- Nó khuếch đại khoảng cách: một logits nhỉnh hơn một chút có thể thành xác suất lớn hơn rõ rệt.
Điều này làm cho lựa chọn của mô hình rõ ràng hơn, đồng thời giữ phép toán trơn và khả vi để quá trình lan truyền ngược vẫn cập nhật được mạng.
Tính Ổn Định Số
Việc tính (e^{z}) trực tiếp có thể tạo ra số rất lớn khi logits cao. Một cách triển khai phổ biến là trừ đi logits lớn nhất trước,
[ z'_i = z_i - \max(z) ]
Cách này không thay đổi kết quả vì hằng số sẽ triệt tiêu trong phép chia, nhưng giữ các giá trị mũ trong phạm vi an toàn hơn.
Softmax So Với Sigmoid
| Khía cạnh | Softmax | Sigmoid |
|---|---|---|
| Đầu ra | Xác suất cho nhiều lớp | Một giá trị từ 0 đến 1 |
| Tổng | Các đầu ra cộng bằng một | Không ràng buộc tổng |
| Dùng khi | Lớp đầu ra phân loại nhiều lớp | Lựa chọn nhị phân hoặc lớp ẩn |
| Quan hệ | Với hai lớp thì trùng sigmoid | Mở rộng thành softmax cho nhiều lớp |
Với bài toán chỉ có hai kết quả, softmax trên hai logits cho kết quả giống một sigmoid. Đây cũng là lý do softmax gắn với hồi quy logistic đa thức.
Nhiệt Độ Và Entropy Chéo
- Nhiệt độ chia logits trước khi qua softmax. Nhiệt độ thấp làm đầu ra dồn vào lớp cao nhất; nhiệt độ cao làm phân bố phẳng hơn.
- Softmax thường đi cùng hàm mất mát entropy chéo. Hàm mất mát so sánh xác suất dự đoán với lớp đúng, và đạo hàm của chúng phối hợp nhịp nhàng, nên cặp này phổ biến trong phân loại.
Giới Hạn
- Softmax giả định các lớp loại trừ nhau, phù hợp với lựa chọn một nhãn. Bài toán cho phép nhiều nhãn cùng lúc thường dùng các đơn vị sigmoid riêng.
- Khi có rất nhiều lớp, chi phí tính toán tăng theo số lớp, thúc đẩy nghiên cứu các phép xấp xỉ hiệu quả hơn trong mô hình lớn.
Câu Hỏi Thường Gặp
Hàm softmax là gì một cách dễ hiểu?
Là hàm biến một nhóm điểm số thô thành các xác suất nằm từ 0 đến 1 và có tổng bằng một, nên điểm số lớn nhất nhận xác suất cao nhất.
Vì sao dùng softmax trong mạng nơ-ron?
Nó biến logits của lớp cuối thành xác suất dễ hiểu cho từng lớp và phối hợp tốt với hàm mất mát entropy chéo khi huấn luyện.
Softmax khác sigmoid ở chỗ nào?
Softmax tạo ra các xác suất cộng bằng một cho nhiều lớp, còn sigmoid cho một giá trị cho lựa chọn nhị phân. Softmax với hai lớp hoạt động như sigmoid.
Softmax có luôn chọn giá trị lớn nhất không?
Nó cho xác suất lớn nhất cho logits lớn nhất, nhưng vẫn giữ xác suất nhỏ cho các lựa chọn khác thay vì trả về một lựa chọn cứng.
Nhiệt độ trong softmax là gì?
Nhiệt độ là một số chia cho logits, kiểm soát độ sắc của phân bố: nhiệt độ thấp dồn xác suất, nhiệt độ cao trải đều xác suất.
Tóm Tắt
Softmax chuẩn hóa một vector logits thành một phân bố xác suất có tổng bằng một, dùng hàm mũ và cách triển khai ổn định bằng cách trừ giá trị lớn nhất. Đây là đầu ra tiêu chuẩn cho phân loại nhiều lớp và là bước quan trọng trong cơ chế chú ý, thường đi cùng entropy chéo. Để tìm hiểu thêm, hãy đọc về mạng nơ-ron, hồi quy logistic và machine learning.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free