Token AI Là Gì? Giải Thích Cho Người Mới Bắt Đầu

Updated · By Viviai

Token là mảnh văn bản nhỏ mà mô hình AI đọc và viết — thường là một phần của từ, không phải cả từ. Token quan trọng vì nó quyết định lượng văn bản tối đa mô hình xử lý cùng lúc và chi phí khi dùng API.

Định nghĩa ngắn gọn

Token là đơn vị cơ bản LLM dùng để xử lý ngôn ngữ. Một từ có thể là một token, nhưng từ dài thường bị tách thành nhiều phần. Dấu câu và khoảng trắng cũng có thể tính là token.

Theo ước lượng thô với tiếng Anh, 100 token tương đương khoảng 75 từ. Con số chính xác thay đổi theo ngôn ngữ và cách dùng từ.

Vì sao mô hình không dùng thẳng từng từ

Việc tách token hiệu quả hơn. Các từ như unhelpful, unhappy, unusual chia sẻ tiền tố un-. Tokenization giúp mô hình nhận ra mảnh chung, đồng thời xử lý từ dài, con số, dấu câu, mã nguồn và các hệ chữ viết khác nhau.

Token và cửa sổ ngữ cảnh

Cửa sổ ngữ cảnh là số token tối đa được xét trong một yêu cầu, gồm prompt, hội thoại cũ, tài liệu được dán vào và câu trả lời.

Khi hội thoại vượt quá cửa sổ, nội dung cũ nhất bị loại và mô hình không còn tham chiếu được. Đó là lý do tài liệu rất dài đôi khi gây lỗi hoặc mô hình "quên" phần đầu.

Token và giá API

Khi trả tiền dùng AI qua API, giá tính theo token:

Token đầu ra thường đắt hơn vì cần nhiều tính toán hơn. Mức giá "trên một triệu token" nghĩa là trả theo lượng văn bản xử lý, không phải theo câu hỏi.

Token khác nhau giữa các ngôn ngữ

Cùng một câu ở các ngôn ngữ có thể dùng số token khác nhau. Một số ngôn ngữ tốn token hơn cho cùng một ý, và cửa sổ ngữ cảnh chứa được nhiều tiếng Anh nhưng ít từ hơn ở ngôn ngữ khác. Dự án đa ngôn ngữ theo dõi hiệu quả token thay vì chỉ đếm từ.

Câu hỏi thường gặp

Token có phải là một từ không? Không. Token có thể là cả từ, một phần từ, dấu câu hoặc khoảng trắng.

Vượt cửa sổ ngữ cảnh thì sao? Bạn có thể gặp lỗi hoặc nội dung cũ bị cắt. Hãy rút ngắn đầu vào hoặc xử lý theo từng phần.

Vì sao token đầu ra đắt hơn? Tạo mỗi token mới cần tính toán, còn đầu vào chỉ xử lý một lần.

Tóm tắt

Đọc tiếp: ảo giác AI là gì và cách viết prompt hiệu quả.

Sources

  1. http://microsoft.github.io/ai-agents-for-beginners/

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free