Anomaly Detection là gì? Tìm điểm khác biệt so với mẫu thông thường
Anomaly Detection (phát hiện bất thường, còn gọi là phát hiện giá trị ngoại lai) là quá trình xác định các điểm hoặc sự kiện khác biệt rõ rệt so với phần lớn dữ liệu. Những điểm bất thường này thường gợi ý vấn đề như gian lận, hỏng hóc thiết bị hoặc lỗi hệ thống. Phương pháp thường dựa vào học không giám sát để học thế nào là mẫu thông thường.
Phát hiện bất thường là gì
Phần lớn dữ liệu tập trung quanh một mẫu có thể dự đoán, nhưng một số điểm nằm tách biệt hẳn. Anomaly detection nhằm tìm ra những điểm đó. Hãy hình dung giám sát thẻ tín dụng: một giao dịch nước ngoài vào ban đêm với số tiền bất thường có thể bị đánh dấu là gian lận.
Có mấy loại bất thường
- Point anomaly: một điểm đơn lẻ bất thường so với phần còn lại
- Contextual anomaly: giá trị bất thường trong ngữ cảnh nhất định, ví dụ cùng một nhiệt độ nhưng bình thường vào ban ngày lại bất thường vào ban đêm
- Collective anomaly: một nhóm điểm bất thường khi nhìn tổng thể, dù từng điểm riêng lẻ có thể trông bình thường
Các phương pháp phổ biến
Phương pháp thống kê
Đặt giả định về phân phối của dữ liệu rồi tìm điểm nằm ngoài khoảng dự kiến, ví dụ điểm cách trung bình nhiều lần độ lệch chuẩn.
Phương pháp dựa khoảng cách
Đo khoảng cách giữa các điểm. Nếu một điểm nằm tách xa các điểm lân cận, nó có thể là giá trị ngoại lai.
Phương pháp học máy
- K-means: điểm khó gán cụm hoặc nằm xa tâm cụm có thể bất thường
- Autoencoder: nếu tái tạo dữ liệu kém, sai số cao gợi ý bất thường
- Mạng nơ-ron: học mẫu thông thường rồi chấm điểm mức khác biệt
Bảng tổng hợp
| Hướng tiếp cận | Nguyên lý | Ví dụ |
|---|---|---|
| Thống kê | So với phân phối bình thường | Độ lệch chuẩn |
| Khoảng cách | Xem điểm lân cận | Khoảng cách đến điểm khác |
| Học máy | Mô phỏng mẫu thông thường | autoencoder, k-means |
Ứng dụng
- Tài chính: phát hiện gian lận thẻ tín dụng và giao dịch đáng ngờ
- Công nghiệp: bảo trì dự đoán khi cảm biến đọc số bất thường
- Thị giác máy tính: tìm khuyết tật trên bề mặt sản phẩm
- An ninh mạng: phát hiện xâm nhập hoặc truy cập lạ
- Y tế: chỉ ra kết quả xét nghiệm khác với ca thông thường
Hạn chế
- Ranh giới giữa bình thường và bất thường không phải lúc nào cũng rõ, cần đặt ngưỡng cẩn thận
- Bất thường thật thường rất hiếm, khiến dữ liệu huấn luyện mất cân bằng
- Mẫu bình thường có thể thay đổi theo thời gian, hệ thống cần cập nhật
- Ngưỡng đặt sai có thể bỏ sót trường hợp thật hoặc báo động sai, và liên quan đến quá khớp
FAQ
Anomaly Detection dùng để làm gì?
Tìm điểm hoặc sự kiện khác với mẫu thông thường, như gian lận, hỏng máy hoặc xâm nhập mạng.
Anomaly và Outlier khác nhau không?
Trong nhiều trường hợp dùng gần giống nhau. Outlier nhấn mạnh điểm tách khỏi nhóm chính, còn anomaly nhấn mạnh điều khác so với mẫu thông thường.
Là supervised hay unsupervised?
Phần lớn là unsupervised vì bất thường thật thường không có nhãn, nhưng một số bài toán có thể dùng dữ liệu có nhãn.
Vì sao bất thường lại hiếm?
Sự kiện bất thường như gian lận hay hỏng hóc xảy ra ít hơn nhiều so với sự kiện bình thường, làm dữ liệu mất cân bằng.
Hệ thống có thể báo sai không?
Có. Nếu ngưỡng quá nhạy, hệ thống có thể cảnh báo nhầm sự kiện bình thường; cần hiệu chỉnh theo kết quả thực tế.
Tóm tắt
- Anomaly detection xác định điểm khác so với mẫu thông thường
- Gồm point, contextual và collective anomaly
- Dùng thống kê, khoảng cách và học máy
- Autoencoder và k-means giúp phát hiện bất thường
- Áp dụng trong tài chính, công nghiệp, an ninh và y tế
- Cần lưu ý dữ liệu mất cân bằng và ngưỡng cảnh báo
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free