Transfer Learning Là Gì? Giải Thích cho Người Mới Bắt Đầu
Transfer learning (học chuyển giao) là kỹ thuật học máy trong đó một mô hình đã được huấn luyện trên một tác vụ được dùng lại, rồi tinh chỉnh cho một tác vụ có liên quan, thay vì xây mô hình mới từ đầu. Kiến thức chung mà mô hình đã học, như các đường nét hoặc mẫu ngôn ngữ phổ biến, được tận dụng, giúp tác vụ mới cần ít dữ liệu, thời gian và sức mạnh tính toán hơn.
Phiên bản đơn giản
Hãy tưởng tượng đã biết lái ô tô rồi học lái xe bán tải. Bạn không bắt đầu từ con số không; kỹ năng đánh lái, phanh và quan sát đường vẫn được giữ lại, chỉ cần thích nghi với kích thước xe. Transfer learning làm điều tương tự: mô hình huấn luyện sẵn mang nền tảng hữu ích, rồi một đợt tinh chỉnh ngắn sẽ điều chỉnh nó cho tác vụ mới.
Vì sao được dùng
| Huấn luyện từ đầu | Dùng transfer learning |
|---|---|
| Cần bộ dữ liệu gắn nhãn lớn | Có thể dùng dữ liệu nhỏ hơn |
| Lâu và tốn tài nguyên | Nhanh và tiết kiệm hơn |
| Bắt đầu với thiết lập ngẫu nhiên | Bắt đầu từ đặc trưng đã học |
| Rủi ro kết quả đầu yếu | Thường sớm hữu ích hơn |
Cách hoạt động
- Bắt đầu với mô hình huấn luyện sẵn trên bộ dữ liệu lớn, phổ biến.
- Tái sử dụng các lớp đầu thường nắm đặc trưng rộng, như hình khối hoặc quan hệ từ ngữ.
- Tinh chỉnh trên tác vụ mới bằng cách thay hoặc điều chỉnh các lớp cuối trên dữ liệu nhỏ.
- Giữ cố định một số lớp để bảo toàn kiến thức chung và tránh overfitting.
Ví dụ phổ biến
- Mô hình hình ảnh nhận diện động vật được điều chỉnh để phát hiện lỗi trên ảnh nhà máy.
- Mô hình ngôn ngữ chung được tinh chỉnh để trả lời câu hỏi trong một lĩnh vực cụ thể.
- Mô hình huấn luyện trên một ngôn ngữ được thích nghi với ngôn ngữ liên quan.
- Mô hình giọng nói được điều chỉnh sang giọng vùng mới với số bản ghi hạn chế.
Lợi ích và hạn chế
Transfer learning hoạt động tốt khi hai tác vụ chia sẻ đặc trưng hữu ích. Nếu tác vụ cũ và mới quá khác nhau, kiến thức mang sang có thể ít giúp hoặc thậm chí gây nhiễu, gọi là negative transfer. Mô hình huấn luyện sẵn cũng có thể mang thiên vị từ dữ liệu gốc, nên việc kiểm tra nguồn và thử nghiệm trên tác vụ mới vẫn quan trọng.
Liên hệ với fine-tuning
Fine-tuning là bước điều chỉnh mô hình huấn luyện sẵn trên dữ liệu mới, còn transfer learning là chiến lược rộng về việc tái sử dụng kiến thức giữa các tác vụ. Cả hai thường đi cùng nhau: transfer learning là cách tiếp cận, fine-tuning là cách thực hiện.
FAQ
Transfer learning có nghĩa là không cần dữ liệu nào không?
Không. Vẫn cần ví dụ gắn nhãn cho tác vụ mới, thường ít hơn nhiều so với huấn luyện từ đầu, nhưng đủ để thích nghi và kiểm tra.
Mô hình huấn luyện sẵn là gì?
Mô hình đã học các đặc trưng chung trên bộ dữ liệu lớn và có thể dùng làm điểm khởi đầu cho tác vụ liên quan.
Negative transfer là gì?
Tình huống kiến thức từ tác vụ cũ làm giảm hiệu suất tác vụ mới, thường vì hai tác vụ không gần gũi.
Chỉ dùng cho deep learning phải không?
Thường dùng với mạng nơ-ron, nhưng ý tưởng tái sử dụng kiến thức cũng xuất hiện ở các phương pháp học máy khác.
Điểm chính
- Transfer learning tái sử dụng mô hình từ một tác vụ cho tác vụ liên quan.
- Tiết kiệm dữ liệu, thời gian và tài nguyên bằng cách bắt đầu từ đặc trưng đã học.
- Fine-tuning điều chỉnh mô hình huấn luyện sẵn vào dữ liệu mới.
- Hoạt động tốt khi các tác vụ chia sẻ đặc trưng; nếu không, negative transfer có thể xảy ra.
Tiếp tục đọc fine-tuning là gì và mạng nơ-ron là gì.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free