Quantization Là Gì? Giải Thích Kỹ Thuật Lượng Tử Hóa Mô Hình AI
Quantization (lượng tử hóa) là kỹ thuật nén mô hình bằng cách lưu các con số của mô hình, gồm trọng số và giá trị kích hoạt, với số bit ít hơn, nhờ đó mô hình nhẹ hơn, chạy nhanh hơn mà vẫn giữ phần lớn độ chính xác. Thực tế thường là chuyển từ số thực dấu phẩy động 16 hoặc 32 bit về số nguyên 8 bit hay 4 bit.
Ví dụ dễ hình dung
Hãy nghĩ về một tấm ảnh độ phân giải cao với dung lượng lớn. Bạn có thể giảm nó xuống còn một phần tư kích thước, và khi xem trên điện thoại, ảnh trông gần như không khác. Phần chi tiết bị cắt đi không dễ nhận thấy trong sử dụng hằng ngày.
Quantization làm điều tương tự với mô hình AI. Một mô hình lớn thực chất là hàng tỉ con số đã học được. Nếu làm tròn các con số đó về một thang độ thô hơn, mô hình nhỏ đi đáng kể nhưng hành vi vẫn gần giống bản gốc, bởi mạng nơ-ron khá "dễ tính" với các giá trị đã được làm tròn.
Bit và độ chính xác
Một mô hình huấn luyện theo cách thông thường giữ trọng số ở dạng số thực 32 bit, gọi là FP32. Các định dạng thấp hơn dùng ít bit hơn:
| Định dạng | Bản chất | Vai trò thường gặp |
|---|---|---|
| FP32 | Số thực 32 bit | Độ chính xác huấn luyện đầy đủ |
| FP16 / BF16 | Số thực 16 bit | Định dạng triển khai phổ biến |
| INT8 | Số nguyên 8 bit | Dùng rộng, chất lượng gần đầy đủ |
| INT4 | Số nguyên 4 bit | Nhỏ nhất, đánh đổi nhỏ về chất lượng |
Mỗi bước giảm xuống gần như giảm một nửa bộ nhớ cần cho mỗi giá trị. Đây là sự đánh đổi có chủ đích: bạn chấp nhận mất một phần nhỏ chi tiết số học để đổi lại lợi ích lớn về kích thước, chi phí và độ trễ.
Vì sao quan trọng với mô hình lớn
Các mô hình hiện nay rất lớn. Một mô hình có hàng chục tỉ tham số có thể cần nhiều bộ nhớ hơn mức một bộ tăng tốc cung cấp, khiến nó chạy chậm hoặc tốn kém. Nếu không lượng tử hóa, người ta phải mua thêm bộ nhớ và chấp nhận thời gian phản hồi lâu hơn.
Tài liệu kỹ thuật của NVIDIA đưa ra con số cụ thể: mô hình Llama 2 7B lưu ở FP16 cần khoảng 14 GB bộ nhớ, và khi chuyển sang FP8 thì còn khoảng 7 GB. Quy luật tương tự xuất hiện ở nhiều dòng mô hình, đó là lý do quantization gần như là bước bắt buộc trước khi chạy trên điện thoại, máy tính xách tay và thiết bị biên.
Quá trình chuyển đổi diễn ra thế nào
Ở mức khái niệm, quantization ánh xạ một dải số có độ chính xác cao về một tập hợp nhỏ hơn các mức số nguyên. Hai giá trị mô tả phép ánh xạ: một hệ số tỷ lệ quy định khoảng cách giữa các mức, và một điểm neo số không. Khi suy luận, phần cứng thực hiện phép tính số nguyên nhanh, rồi chuyển kết quả lại khi cần.
Có hai hướng chính quyết định thời điểm thực hiện:
- Lượng tử hóa sau huấn luyện (PTQ) áp dụng chuyển đổi cho mô hình đã huấn luyện xong. Cách này nhanh, gần như không cần huấn luyện lại, đôi khi dùng một bộ dữ liệu hiệu chuẩn nhỏ để giữ độ chính xác ổn định.
- Huấn luyện nhận biết lượng tử (QAT) mô phỏng phép tính độ chính xác thấp ngay trong quá trình huấn luyện, để mô hình học cách làm việc với giá trị làm tròn. Cách này thường giữ được độ chính xác tốt hơn nhưng tốn công sức hơn.
Được gì và mất gì
| Tiêu chí | Tác động của quantization |
|---|---|
| Kích thước mô hình | Nhỏ hơn, đôi khi gấp nhiều lần |
| Bộ nhớ | Thấp hơn, cả khi suy luận |
| Tốc độ | Nhanh hơn trên phần cứng tối ưu cho toán độ chính xác thấp |
| Năng lượng và chi phí | Giảm |
| Độ chính xác | Thường giảm nhẹ, tăng dần ở mức mạnh tay |
INT8 thường gần như không mất chất lượng với các tác vụ hằng ngày. INT4 mang lại thay đổi nhỏ nhưng đo được, và đẩy thấp hơn nữa có thể làm chất lượng giảm nhanh. Cách chọn trung thực nhất là đo mô hình sau lượng tử so với bản gốc trên chính tác vụ của bạn, thay vì cho rằng một cài đặt phù hợp với mọi thứ.
Khác biệt với các phương pháp nén khác
Quantization là một trong nhiều cách làm mô hình nhẹ hơn. Tỉa bỏ trọng số loại đi các tham số ít đóng góp, còn chưng cất tri thức huấn luyện một mô hình "học trò" nhỏ bắt chước mô hình "thầy giáo" lớn. Quantization giữ nguyên cấu trúc mô hình nhưng biểu diễn nó bằng các con số đơn giản hơn, nên thường là bước dễ nhất và hay được kết hợp với các kỹ thuật còn lại.
Câu hỏi thường gặp
Quantization có thay đổi những gì mô hình biết không?
Kỹ thuật này thay đổi cách lưu con số, không thay đổi thiết kế tổng thể của mô hình. Mô hình giữ các kỹ năng của mình, với một đánh đổi nhỏ về độ chính xác tùy mức bit chọn ra.
Quantization có giống nén file zip không?
Không. Zip là nén không mất dữ liệu và khôi phục đúng bản gốc. Quantization thực sự làm tròn giá trị, nên một phần chi tiết bị loại bỏ và độ chính xác cần được kiểm tra.
Mô hình sau lượng tử có chạy trên máy tính xách tay không?
Thường là có. Bộ nhớ thấp hơn là lý do chính giúp các mô hình lớn chạy trên thiết bị tiêu dùng, dù tốc độ vẫn còn phụ thuộc phần cứng và kích thước mô hình.
PTQ và QAT khác nhau ra sao?
PTQ chuyển đổi một mô hình đã huấn luyện và áp dụng nhanh. QAT huấn luyện với việc mô phỏng độ chính xác thấp, thường giữ được độ chính xác tốt hơn với thêm công sức.
Tóm tắt
- Quantization lưu các con số của mô hình với ít bit hơn, từ FP32 về INT8 hay INT4.
- Kỹ thuật cắt giảm bộ nhớ, kích thước, năng lượng và độ trễ trong khi thường giữ phần lớn độ chính xác.
- PTQ là cách nhanh; QAT giữ độ chính xác tốt hơn với thêm công sức.
- Mức bit phù hợp là một đánh đổi được đo đạc, không phải lựa chọn áp dụng cho mọi trường hợp.
Tìm hiểu thêm về token là gì và embedding là gì.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free