Thuật Toán Naive Bayes Là Gì? Giải Thích Cho Người Mới
Naive Bayes (Bayes ngây thơ) là một thuật toán học có giám sát dựa trên xác suất, dùng định lý Bayes và giả định các đặc trưng độc lập có điều kiện; nó tính xác suất của từng hạng mục rồi chọn hạng mục có xác suất cao nhất, thường được dùng cho phân loại văn bản và lọc thư rác.
Ý tưởng cốt lõi
Thay vì học một ranh giới phức tạp, Naive Bayes ước lượng xác suất để một dữ liệu thuộc mỗi hạng mục, rồi chọn hạng mục khả dĩ nhất. Chữ "ngây thơ" phản ánh giả định đơn giản hóa: các đặc trưng độc lập với nhau khi đã biết hạng mục. Giả định này hiếm khi đúng hoàn toàn, nhưng giúp bài toán tính toán nhẹ hơn và vẫn cho kết quả khá ổn trong nhiều ứng dụng.
Định lý Bayes
Định lý Bayes liên hệ xác suất hậu nghiệm với xác suất tiền nghiệm và khả năng:
[ P(y \mid x) = \frac{P(x \mid y)P(y)}{P(x)} ]
Vì mẫu số (P(x)) như nhau cho mọi hạng mục, khi so sánh các hạng mục ta chỉ cần so sánh tử số (P(x \mid y)P(y)). Quy tắc chọn hạng mục có xác suất hậu nghiệm cao nhất thường gọi là quyết định MAP.
| Thuật ngữ | Ý nghĩa |
|---|---|
| Xác suất tiền nghiệm (prior) | Xác suất của hạng mục trước khi xem dữ liệu |
| Khả năng (likelihood) | Xác suất quan sát được đặc trưng với hạng mục đó |
| Xác suất hậu nghiệm (posterior) | Xác suất của hạng mục sau khi có dữ liệu |
| Độc lập có điều kiện | Giả định các đặc trưng không liên hệ khi đã biết hạng mục |
Các bước hoạt động
- Thống kê tần suất của từng đặc trưng trong mỗi hạng mục từ dữ liệu huấn luyện.
- Tính xác suất tiền nghiệm của các hạng mục.
- Với dữ liệu mới, nhân xác suất của các đặc trưng theo từng hạng mục.
- Chọn hạng mục có tích xác suất cao nhất.
Một vài biến thể phổ biến
| Biến thể | Dữ liệu phù hợp | Ghi chú |
|---|---|---|
| Gaussian | Đặc trưng liên tục | Giả định phân phối chuẩn |
| Multinomial | Đếm tần suất từ | Thường dùng cho phân loại văn bản |
| Bernoulli | Đặc trưng nhị phân | Quan tâm sự có mặt của từ |
Trường hợp thường dùng
Naive Bayes chi phí huấn luyện thấp và mở rộng tốt với dữ liệu nhiều chiều, nên hay được dùng cho lọc thư rác, phân loại tài liệu và phân tích cảm xúc. Nó cũng có thể đóng vai trò một mô hình nền để so sánh.
Hạn chế cần lưu ý
Giả định độc lập có thể làm mô hình bỏ qua quan hệ giữa các đặc trưng, và xác suất đưa ra đôi khi quá tự tin so với mức thực tế. Khi một đặc trưng chưa từng xuất hiện trong một hạng mục, xác suất bằng không có thể lấn át các đặc trưng khác; kỹ thuật làm mịn (smoothing) thường được dùng để xử lý.
FAQ
Vì sao gọi là "ngây thơ"?
Vì thuật toán giả định các đặc trưng độc lập có điều kiện, một đơn giản hóa mạnh so với dữ liệu thực tế, nhưng giúp tính toán nhanh.
Naive Bayes dùng để làm gì?
Nó thường dùng cho phân loại văn bản, lọc thư rác và phân tích cảm xúc nhờ chi phí thấp và hoạt động tốt với nhiều đặc trưng.
Xác suất tiền nghiệm và hậu nghiệm khác nhau ra sao?
Tiền nghiệm là xác suất hạng mục trước khi xem dữ liệu; hậu nghiệm là xác suất sau khi đã kết hợp thông tin từ đặc trưng.
Xử lý đặc trưng chưa từng gặp thế nào?
Người ta thường dùng làm mịn để tránh xác suất bằng không, giúp đặc trưng lạ không vô hiệu hóa toàn bộ dự đoán.
Điểm chính
- Naive Bayes dùng định lý Bayes và giả định độc lập có điều kiện.
- Nó chọn hạng mục có xác suất hậu nghiệm cao nhất.
- Gaussian, Multinomial và Bernoulli là ba biến thể thường gặp.
- Làm mịn giúp xử lý đặc trưng chưa xuất hiện trong huấn luyện.
Đọc tiếp machine learning là gì và học có giám sát là gì.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free