Transformer Là Gì? Kiến Trúc Nền Tảng Của Mô Hình Ngôn Ngữ Lớn

Updated · By Viviai

Transformer là một mô hình học sâu được giới thiệu năm 2017 trong bài báo "Attention Is All You Need", chủ yếu dùng trong xử lý ngôn ngữ tự nhiên và thị giác máy tính. Khác với mạng thần kinh hồi quy, Transformer không xử lý dữ liệu tuần tự từng bước mà dùng cơ chế tự chú ý (self-attention) để xử lý tất cả token cùng lúc, nhờ đó cho phép tính toán song song, rút ngắn thời gian huấn luyện và trở thành kiến trúc nền tảng của phần lớn mô hình ngôn ngữ lớn (LLM) như GPT hay BERT.

Vì sao Transformer ra đời

Trước khi có Transformer, các hệ thống xử lý ngôn ngữ tiên tiến thường dựa trên mạng thần kinh hồi quy (RNN) và bộ nhớ dài-ngắn hạn (LSTM), vốn đọc token theo thứ tự và duy trì một vector trạng thái. Cách làm này có hai hạn chế:

Transformer giải quyết bằng cách bỏ cấu trúc hồi quy và chỉ dùng cơ chế chú ý. Mọi token được xử lý đồng thời, và một token có thể kết nối trực tiếp với các token khác, kể cả những token ở rất xa.

Ý tưởng cốt lõi: tự chú ý

Tự chú ý (self-attention) cho phép mô hình đánh giá mức độ liên quan giữa các token trong cùng một chuỗi. Khi xử lý một từ, mô hình tính điểm liên quan với các từ còn lại rồi trộn thông tin theo trọng số tương ứng.

Ví dụ, trong câu "con mèo đuổi theo quả bóng vì nó đói", mô hình có thể học được rằng từ "nó" nói về "con mèo" chứ không phải "quả bóng". Nhờ vậy, biểu diễn của mỗi token mang ngữ cảnh thay vì cố định.

Trong thực tế, Transformer dùng chú ý nhiều đầu (multi-head attention): nhiều "đầu" chú ý chạy song song, mỗi đầu có thể nắm bắt một kiểu quan hệ khác nhau, như sự tham chiếu, thời gian hoặc quan hệ nhân quả.

Hai bộ phận chính: bộ mã hóa và bộ giải mã

Transformer chuẩn gồm nhiều lớp bộ mã hóa (encoder) và bộ giải mã (decoder) xếp chồng. Tùy mục đích, có các biến thể chỉ dùng bộ mã hóa, chỉ dùng bộ giải mã, hoặc kết hợp cả hai.

Bộ phận Vai trò Lớp con chính
Bộ mã hóa (encoder) Tạo biểu diễn ngữ cảnh cho toàn bộ đầu vào Tự chú ý và mạng truyền thẳng
Bộ giải mã (decoder) Tạo đầu ra từng bước Tự chú ý có che, chú ý chéo, mạng truyền thẳng

Bộ mã hóa

Mỗi lớp bộ mã hóa nhận một chuỗi vector, áp dụng tự chú ý để trộn thông tin giữa các token, rồi áp dụng mạng truyền thẳng cho từng vector. Vì toàn bộ đầu vào được xử lý cùng lúc, mỗi token có thể chú ý đến mọi token khác mà không cần che (masking).

Bộ giải mã

Bộ giải mã hoạt động theo kiểu tự hồi quy (autoregressive), tạo ra đầu ra lần lượt từng token. Nó dùng tự chú ý có che để một token không nhìn thấy các token chưa được tạo, và dùng chú ý chéo (cross-attention) để lấy thông tin hữu ích từ đầu ra của bộ mã hóa.

Vị trí và phép nhúng

Vì đọc tất cả token cùng lúc, Transformer không tự biết thứ tự. Vị trí được bổ sung qua mã hóa vị trí (positional encoding), cho biết token nào đứng trước token nào. Trước đó, token được chuyển thành vector qua phép nhúng (embedding), rồi cộng thêm thông tin vị trí trước khi đi vào các lớp.

Luồng dữ liệu tóm tắt

  1. Token đầu vào được chuyển thành vector nhúng.
  2. Thông tin vị trí được thêm vào.
  3. Bộ mã hóa xây dựng biểu diễn ngữ cảnh qua tự chú ý và mạng truyền thẳng.
  4. Bộ giải mã dùng chú ý chéo trên đầu ra của bộ mã hóa và tạo token theo kiểu tự hồi quy.
  5. Lớp cuối cùng chuyển vector thành xác suất của token tiếp theo.

Vì sao Transformer quan trọng

Khía cạnh Tác động
Song song hóa Xử lý mọi token cùng lúc, huấn luyện nhanh hơn
Kết nối trực tiếp Các token ở xa liên hệ được với nhau
Khả năng mở rộng Phù hợp với dữ liệu và mô hình quy mô lớn
Nền tảng LLM Là cơ sở của GPT, BERT và nhiều mô hình khác
Nhiều lĩnh vực Dùng cả cho thị giác máy tính, âm thanh và dữ liệu đa phương thức

Sau Transformer, các mô hình huấn luyện trước như BERT và GPT có thể được huấn luyện trên kho ngữ liệu lớn như Wikipedia và Common Crawl rồi tinh chỉnh cho từng nhiệm vụ. Kiến trúc này cũng được dùng trong Vision Transformer (ViT) cho hình ảnh, chứ không chỉ giới hạn ở văn bản.

Liên hệ với các khái niệm khác

Để hiểu rõ hơn, bạn có thể đọc về cơ chế chú ý, vốn là phần lõi của Transformer, và phép nhúng, cách token được chuyển thành vector. Giải thích về học sâu và LSTM cho thấy bối cảnh mà Transformer ra đời để thay thế.

Câu hỏi thường gặp

Transformer khác RNN ở điểm nào?

RNN đọc token theo thứ tự và duy trì trạng thái nên khó song song hóa. Transformer xử lý mọi token cùng lúc nhờ tự chú ý, giúp huấn luyện nhanh hơn và kết nối trực tiếp các token ở xa.

Tự chú ý là gì?

Tự chú ý là cơ chế đánh giá mối liên hệ giữa các token trong cùng chuỗi, để biểu diễn của mỗi token chứa ngữ cảnh từ các token khác. Chú ý nhiều đầu chạy nhiều quá trình chú ý song song để nắm bắt các kiểu quan hệ khác nhau.

Bộ mã hóa và bộ giải mã làm gì?

Bộ mã hóa tạo biểu diễn ngữ cảnh cho đầu vào, còn bộ giải mã tạo đầu ra từng bước và tận dụng đầu ra của bộ mã hóa qua chú ý chéo. Một số mô hình chỉ dùng một trong hai bộ phận tùy nhiệm vụ.

Vì sao cần mã hóa vị trí?

Vì Transformer xử lý các token đồng thời nên không có thông tin thứ tự bẩm sinh. Mã hóa vị trí bổ sung thông tin này để mô hình hiểu được trật tự từ.

Transformer có chỉ dùng cho văn bản không?

Không. Ngoài xử lý ngôn ngữ, kiến trúc này còn được dùng cho thị giác máy tính qua Vision Transformer, cũng như cho âm thanh và các nhiệm vụ đa phương thức.

Điểm cần nhớ

Sources

  1. https://vi.wikipedia.org/wiki/Transformer_(m%C3%B4_h%C3%ACnh_h%E1%BB%8Dc_m%C3%A1y)
  2. https://arxiv.org/abs/1706.03762

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free