Support Vector Machine (SVM) Là Gì? Giải Thích Cho Người Mới
Support vector machine (SVM), hay máy vectơ hỗ trợ, là một thuật toán học có giám sát dùng cho phân loại và hồi quy, tìm ra siêu phẳng (hyperplane) phân tách các hạng mục sao cho biên (margin) giữa các điểm gần nhất của mỗi lớp là rộng nhất.
Trực giác đơn giản
Hãy tưởng tượng hai nhóm dữ liệu cần tách ra. Nhiều đường có thể phân tách chúng, nhưng SVM chọn ranh giới nằm càng xa cả hai nhóm càng tốt, để khoảng trống ở giữa rộng ra. Mục tiêu không chỉ là phân tách dữ liệu huấn luyện mà còn giữ một khoảng an toàn để mô hình xử lý tốt khi gặp dữ liệu mới.
Siêu phẳng, biên và vectơ hỗ trợ
| Thuật ngữ | Ý nghĩa trong ngữ cảnh này |
|---|---|
| Siêu phẳng (hyperplane) | Ranh giới quyết định; là đường ở hai chiều và mặt phẳng ở chiều cao hơn |
| Biên (margin) | Khoảng cách từ siêu phẳng đến các điểm gần nhất của mỗi lớp |
| Vectơ hỗ trợ (support vector) | Các điểm gần siêu phẳng nhất, quyết định vị trí ranh giới |
Theo tài liệu của Đại học Bách khoa Hà Nội, nguyên tắc phân loại của SVM chỉ phụ thuộc vào các vectơ hỗ trợ và chỉ cần tính một số tích vô hướng. Vì vậy, thay đổi những điểm nằm xa biên thường không ảnh hưởng đến kết quả.
Các bước SVM hoạt động
- Thuật toán tìm một siêu phẳng có thể phân tách các lớp.
- Nó đo biên, tức khoảng cách từ siêu phẳng đến các vectơ hỗ trợ ở mỗi phía.
- Nó chọn siêu phẳng có biên rộng nhất.
- Với điểm mới, nó xem điểm nằm ở phía nào rồi gán nhãn.
Dữ liệu tuyến tính và phi tuyến
Nếu hai lớp có thể tách bằng một đường thẳng, SVM tuyến tính đã đủ dùng. Khi không có siêu phẳng nào phân tách tốt, các hàm nhân (kernel functions) sẽ được dùng để biến đổi dữ liệu sang một không gian khác, nơi chúng có thể phân tách bằng đường thẳng. SVM không dùng hàm nhân đôi khi được gọi là SVM tuyến tính; trên thực tế nó dùng một nhân tuyến tính.
Vai trò của hàm nhân
Hàm nhân giữ vai trò biến đổi dữ liệu vào một không gian mà ở đó các lớp trở nên phân tách tuyến tính. Một số loại hàm nhân thường gặp:
| Hàm nhân | Đặc điểm | Thường dùng khi |
|---|---|---|
| Tuyến tính | Ranh giới thẳng | Dữ liệu đã tách được |
| Đa thức | Tạo ranh giới cong theo bậc | Mẫu phi tuyến đơn giản |
| RBF (radial basis function) | Ranh giới phức tạp theo khoảng cách | Mẫu phi tuyến phức tạp |
Biên cứng và biên mềm
| Loại | Đặc điểm | Lưu ý |
|---|---|---|
| Biên cứng (hard margin) | Yêu cầu phân tách hoàn toàn | Dễ nhạy với nhiễu và overfitting |
| Biên mềm (soft margin) | Cho phép một số điểm vi phạm biên | Giữ ranh giới tổng quát hơn |
AI Understanding lưu ý rằng một điểm vi phạm biên có thể nằm ngay trong biên dù được phân loại đúng, nên khái niệm này rộng hơn là chỉ phân loại sai. Tham số thường được ký hiệu là C kiểm soát mức phạt đối với các điểm vi phạm.
Ưu điểm và hạn chế
SVM hoạt động hiệu quả trong không gian đặc trưng nhiều chiều và các tập dữ liệu không quá lớn, đồng thời cho phép chọn hàm nhân linh hoạt. Mặt khác, chi phí huấn luyện có thể tăng trên dữ liệu rất lớn, và việc chọn hàm nhân cùng tham số cần được kiểm tra. Thuật toán này thường được so sánh với hồi quy logistic, KNN và random forest.
FAQ
SVM là gì, nói ngắn gọn?
Một thuật toán học có giám sát tìm siêu phẳng với biên rộng để phân tách các lớp, và dùng hàm nhân cho dữ liệu phi tuyến.
Siêu phẳng và biên khác nhau thế nào?
Siêu phẳng là ranh giới quyết định, còn biên là khoảng cách từ ranh giới đó đến các điểm gần nhất.
Khi nào dùng hàm nhân RBF?
Khi dữ liệu không phân tách tuyến tính và cần một ranh giới quyết định phức tạp.
SVM có chỉ dùng cho phân loại không?
Không. SVM cũng dùng được cho hồi quy, dù phân loại được nhắc đến nhiều hơn.
Điểm chính
- SVM tìm siêu phẳng có biên rộng để phân tách các lớp.
- Vectơ hỗ trợ là các điểm gần nhất quyết định ranh giới.
- Hàm nhân giúp xử lý dữ liệu phi tuyến.
- Biên mềm cho phép một ít vi phạm để mô hình giữ tính tổng quát.
Đọc tiếp machine learning là gì và học có giám sát là gì.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free