Mạng thần kinh hồi quy (RNN) là gì? Cách hoạt động và ví dụ dễ hiểu

Updated · By Viviai

Mạng thần kinh hồi quy (Recurrent Neural Network, viết tắt là RNN) là một loại mạng nơ-ron được thiết kế cho dữ liệu có thứ tự, chẳng hạn như văn bản, giọng nói và chuỗi thời gian. Điểm khác biệt cốt lõi là RNN giữ một trạng thái ẩn (hidden state) truyền từ bước thời gian này sang bước thời gian khác, nhờ đó mạng có thể "nhớ" thông tin đã gặp trước đó thay vì xử lý từng đầu vào một cách độc lập.

Câu trả lời ngắn gọn: RNN hoạt động thế nào

Một mạng nơ-ron truyền thống xử lý các đầu vào tách rời nhau và không lưu lại bối cảnh. RNN bổ sung một vòng lặp: tại mỗi bước, mạng nhận đầu vào hiện tại cùng trạng thái ẩn của bước trước, rồi tạo ra trạng thái ẩn mới và chuyển tiếp.

Công thức ở dạng đơn giản:

Trong đó (x_t) là đầu vào tại bước (t), (h_{t-1}) là trạng thái ẩn của bước trước, còn các ma trận trọng số (W_x, W_h, W_y) được dùng chung cho mọi bước thời gian thay vì mỗi bước một bộ trọng số riêng.

Các thành phần chính của RNN

Trình tự xử lý qua từng bước thời gian

  1. Tại bước (t), mạng nhận đầu vào (x_t) và trạng thái ẩn (h_{t-1}).
  2. Hai giá trị này được kết hợp và đi qua hàm tanh để tạo trạng thái ẩn mới (h_t).
  3. (h_t) được dùng để tính đầu ra (y_t).
  4. (h_t) cũng được chuyển sang bước (t+1), lặp lại quy trình cho đến hết chuỗi.

Vì cùng một bộ trọng số được chia sẻ trên toàn bộ trình tự, số tham số của mô hình không tăng theo độ dài câu, và mạng học được quy tắc áp dụng cho mọi vị trí.

Vì sao RNN phù hợp với dữ liệu chuỗi

Thứ tự trong nhiều loại dữ liệu mang ý nghĩa. Từ trong câu, nốt nhạc, hay chỉ số cảm biến theo thời gian đều phụ thuộc vào yếu tố đứng trước. Trạng thái ẩn cho phép RNN dùng bối cảnh trước đó để diễn giải phần hiện tại.

Loại dữ liệu Ví dụ tác vụ
Văn bản Phân tích cảm xúc, mô hình ngôn ngữ, dịch máy
Giọng nói Nhận dạng tiếng nói, chuyển giọng nói thành văn bản
Chuỗi thời gian Dự báo giá trị, chỉ số cảm biến, hồ sơ y tế
Chữ viết tay Nhận dạng chữ viết kết nối không tách đoạn

RNN gắn chặt với bài toán xử lý ngôn ngữ tự nhiên, và cùng với mạng nơ-ron nói chung tạo thành nền tảng của nhiều mô hình LLM đời đầu.

Vấn đề tiêu biến và bùng nổ gradient

Khi huấn luyện, RNN được "trải ra" theo thời gian và học bằng kỹ thuật lan truyền ngược theo thời gian (Backpropagation Through Time, BPTT). Gradient lỗi được nhân dồn qua nhiều bước, dẫn đến hai hiện tượng:

Một RNN đơn giản thường gặp khó khăn với các phụ thuộc vượt quá khoảng một vài chục bước. Đây là lý do các kiến trúc có cổng ra đời.

LSTM và GRU: hai biến thể phổ biến

Cả hai đều hướng tới việc duy trì "đường cao tốc gradient" để thông tin không bị tiêu biến khi truyền qua trình tự dài.

Ưu điểm và hạn chế

Ưu điểm

Hạn chế

Câu hỏi thường gặp

RNN khác mạng nơ-ron truyền thống ở đâu?

Mạng truyền thống xử lý từng đầu vào độc lập và không lưu bối cảnh. RNN có vòng lặp đưa trạng thái ẩn qua các bước, nên đầu ra hiện tại có thể phụ thuộc vào dữ liệu đã gặp trước đó.

Trạng thái ẩn đóng vai trò gì?

Trạng thái ẩn là một vector tóm tắt thông tin mạng đã đọc đến bước hiện tại, hoạt động như bộ nhớ ngắn hạn và được chuyển tiếp cho bước thời gian kế tiếp.

Khi nào nên dùng LSTM hoặc GRU?

Khi chuỗi đầu vào dài và RNN đơn giản gặp tình trạng tiêu biến gradient, LSTM hoặc GRU giúp giữ thông tin quan trọng qua nhiều bước. GRU thường nhẹ hơn, trong khi LSTM có cơ chế kiểm soát bộ nhớ đầy đủ hơn.

RNN còn được dùng ngày nay không?

RNN và các biến thể từng chiếm ưu thế trong xử lý chuỗi, nhưng nhiều tác vụ hiện nay chuyển sang kiến trúc transformer. Hiểu RNN vẫn hữu ích vì khái niệm trạng thái ẩn và phụ thuộc trình tự là nền tảng để học các mô hình mới hơn.

Tóm tắt

Mạng thần kinh hồi quy xử lý dữ liệu chuỗi bằng cách duy trì trạng thái ẩn truyền qua từng bước thời gian, với trọng số dùng chung cho mọi bước. Thách đề tiêu biến gradient đã dẫn đến LSTM và GRU, hai biến thể giúp giữ thông tin dài hạn. Đây là kiến trúc nền tảng để hiểu cách các mô hình AI xử lý văn bản, giọng nói và dữ liệu theo thời gian.

Sources

  1. https://vi.wikipedia.org/wiki/M%E1%BA%A1ng_th%E1%BA%A7n_kinh_h%E1%BB%93i_quy
  2. https://cloud.vnpt.vn/blog/bach-khoa-machine-learning-mang-no-ron-hoi-quy-rnn-la-gi-huong-dan-day-du-cho-nguoi-moi-bat-dau-562
  3. https://www.datacamp.com/vi/courses/recurrent-neural-networks-rnn-for-language-modeling-with-keras

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free