Cơ Chế Attention Là Gì? Giải Thích Đơn Giản Cho Người Mới

Updated · By Viviai

Cơ chế attention (sự chú ý) là một kỹ thuật trong mạng nơ-ron giúp mô hình tập trung vào những phần liên quan nhất của dữ liệu đầu vào, thay vì xử lý mọi phần với cùng một trọng số. Nó gán trọng số cho từng phần dựa trên mức liên quan, dùng ba loại vector là query, key và value. Kỹ thuật này được đưa vào dịch máy năm 2014 và trở thành thành phần cốt lõi của các mô hình ngôn ngữ lớn.

Nếu bạn đã đọc về mạng thần kinh hồi quy, hãy xem attention là cách khắc phục điểm yếu của nó: thay vì nén cả câu vào một vector cố định, mô hình giữ lại mọi phần và tự quyết định phần nào cần đọc kỹ tại mỗi bước.

Vấn Đề Mà Attention Giải Quyết

Các mô hình dịch máy dựa trên RNN phải nén toàn bộ câu nguồn vào một vector ẩn duy nhất trước khi sinh câu đích. Với câu dài, thông tin từ những từ đầu dễ bị mất, khiến chất lượng giảm. Đây là một dạng nghẽn cổ chai.

Attention tháo nghẽn này bằng cách cho bộ giải mã nhìn lại toàn bộ trạng thái ẩn của bộ mã hóa tại mỗi bước sinh từ. Mô hình học cách phân bổ trọng số để lấy thông tin từ những từ nguồn phù hợp nhất với từ đang được sinh ra.

Ba Khái Niệm: Query, Key, Value

Ultralytics mô tả attention như một phép tính trung bình có trọng số, trong đó ba loại vector đóng vai trò khác nhau.

Query được so với từng key để tìm mức liên quan, rồi các value tương ứng được cộng lại theo trọng số.

Cách Tính Scaled Dot-Product Attention

Phép attention phổ biến trong transformer diễn ra theo bốn bước.

  1. Tính điểm liên quan: lấy tích vô hướng giữa query và từng key.
  2. Chia tỷ lệ: chia điểm cho căn bậc hai của chiều vector key để giữ giá trị ổn định.
  3. Chuẩn hóa softmax: biến điểm thành trọng số trong khoảng từ 0 đến 1, với tổng bằng 1.
  4. Tổng hợp value: nhân từng value với trọng số rồi cộng lại để ra kết quả.

Dạng tổng quát của phép tính là

[ \mathrm{Attention}(Q,K,V)=\mathrm{softmax}\left(\frac{QK^{T}}{\sqrt{d_k}}\right)V, ]

trong đó (d_k) là chiều của vector key.

Self-Attention Là Gì?

Khi query, key và value đều lấy từ cùng một chuỗi, kỹ thuật này gọi là self-attention (tự chú ý). Mỗi phần tử nhìn các phần tử khác trong cùng câu để hiểu ngữ cảnh.

Ví dụ, trong câu "con vật không băng qua đường vì nó quá mệt", từ "nó" liên quan mạnh đến "con vật" hơn là "đường". Self-attention gán trọng số cao cho cặp quan hệ này, giúp mô hình xây dựng biểu diễn phụ thuộc ngữ cảnh thay vì hiểu từng từ một cách tách rời.

Multi-Head Attention

Thay vì chỉ tính một lần, mô hình có thể chạy nhiều đầu attention song song. Mỗi đầu học một kiểu quan hệ khác nhau, ví dụ một đầu chú ý quan hệ chủ ngữ - vị ngữ, đầu khác chú ý từ tham chiếu. Kết quả của các đầu được nối lại rồi chuyển qua một lớp tuyến tính. Cách này giúp mô hình bắt được nhiều loại quan hệ cùng lúc.

So Sánh Attention, RNN và CNN

Đặc điểm RNN CNN Attention
Cách xử lý Tuần tự từng bước Quét bằng bộ lọc cục bộ Mọi vị trí tương tác trực tiếp
Song song hóa Khó Có Thuận lợi
Phụ thuộc xa Yếu, dễ tiêu biến gradient Hạn chế bởi kích thước bộ lọc Đường đi ngắn giữa các vị trí
Thường dùng Chuỗi ngắn, tín hiệu Hình ảnh Mô hình ngôn ngữ, transformer

Vị Trí Trong Hệ Thống Học Sâu

Attention không thay thế toàn bộ các thành phần khác. Trong một khối transformer, attention thường đi cùng lớp mạng truyền thẳng, cửa sổ ngữ cảnh xác định phạm vi từ được nhìn, và các kỹ thuật chuẩn hóa giúp ổn định huấn luyện. Nó cũng được dùng cùng hoặc thay thế cho LSTM và GRU tùy bài toán.

Hạn Chế

Câu Hỏi Thường Gặp

Attention là gì một cách ngắn gọn? Là kỹ thuật giúp mô hình gán trọng số khác nhau cho từng phần của dữ liệu, để tập trung vào phần liên quan nhất khi tạo kết quả.

Query, key và value khác nhau ra sao? Query thể hiện điều cần tìm, key dùng để được so khớp, còn value mang thông tin được tổng hợp theo trọng số.

Self-attention dùng để làm gì? Nó giúp các phần tử trong cùng một chuỗi tham chiếu lẫn nhau, nhờ đó mô hình hiểu ngữ cảnh và quan hệ giữa các từ.

Attention có thay thế RNN không? Trong nhiều mô hình ngôn ngữ, attention giúp bỏ xử lý tuần tự và dễ song song hóa, nhưng RNN vẫn được dùng cho một số bài toán chuỗi và tín hiệu.

Vì sao attention tốn tài nguyên với chuỗi dài? Vì mỗi vị trí tính quan hệ với mọi vị trí khác, số phép tính tăng theo bình phương độ dài chuỗi.

Bước Tiếp Theo

Để nắm rõ bối cảnh, hãy đọc lại mạng nơ-ron là gì và mạng thần kinh hồi quy, rồi đối chiếu hai cơ chế có cổng là LSTM và GRU. Nếu muốn hiểu cách mô hình ngôn ngữ lớn sử dụng attention, bài về LLM là phần tiếp theo phù hợp.

Sources

  1. https://ai.viblo.asia/p/tim-hieu-ve-co-che-attention-924lJjbmlPM
  2. https://viblo.asia/p/attention-va-su-hinh-thanh-cua-mo-hinh-transformer-zXRJ8GnO4Gq
  3. https://www.ultralytics.com/vi/glossary/attention-mechanism

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free