LSTM Là Gì? Giải Thích Bộ Nhớ Dài-Ngắn Hạn Cho Người Mới

Updated · By Viviai

LSTM (Long Short-Term Memory, bộ nhớ dài-ngắn hạn) là một kiến trúc mạng nơ-ron hồi quy (RNN) có thêm ô nhớ và các cổng để chọn lọc thông tin, giúp mạng học được các mối liên hệ cách xa nhau trong dữ liệu tuần tự. LSTM được đề xuất để khắc phục tình trạng tiêu biến gradient khiến RNN truyền thống "quên" thông tin từ nhiều bước trước. Nó thường được dùng cho văn bản, giọng nói và dự báo chuỗi thời gian.

Nếu bạn đã đọc về mạng thần kinh hồi quy, hãy xem LSTM là một RNN được bổ sung khả năng ghi nhớ có chọn lọc: thay vì giữ mọi thứ, nó tự quyết định nên quên gì, lưu gì và đưa ra gì.

Vấn Đề LSTM Giải Quyết

RNN truyền thống truyền trạng thái ẩn qua từng bước thời gian. Về lý thuyết, trạng thái này có thể mang thông tin từ rất sớm. Trên thực tế, mỗi lần qua hàm kích hoạt và nhân với ma trận trọng số, tín hiệu dùng để cập nhật lại yếu đi một chút. Sau hàng chục bước, nó gần như bằng không — đây là hiện tượng tiêu biến gradient (vanishing gradient).

Hậu quả là mạng chỉ liên hệ được từ ngữ với những từ ngay sát nó, không còn nhớ thông tin từ đầu câu hoặc đầu đoạn. LSTM ra đời để xử lý đúng điểm này.

Hai Đường Truyền Thông Tin Của LSTM

Khác với RNN cơ bản chỉ có một trạng thái ẩn, LSTM có hai đường truyền:

Các cổng chính là cơ chế kiểm soát thông tin ra vào trạng thái ô này.

Ba Cổng Của LSTM

LSTM dùng ba cổng, mỗi cổng là một lớp sigmoid cho giá trị từ 0 đến 1, trong đó 0 nghĩa là chặn hoàn toàn và 1 nghĩa là cho qua.

Cổng Quên (Forget Gate)

Quyết định thông tin nào từ trạng thái ô cũ cần loại bỏ. Khi chủ đề đã đổi, mạng có thể cho giá trị gần 0 để xóa thông tin không còn phù hợp.

Cổng Đầu Vào (Input Gate)

Quyết định thông tin mới nào được lưu vào trạng thái ô. Một hàm tanh tạo ra giá trị ứng viên, rồi cổng đầu vào chọn phần nào trong số đó được thêm vào.

Cổng Đầu Ra (Output Gate)

Quyết định phần nào của trạng thái ô được đưa ra thành trạng thái ẩn của bước hiện tại. Trạng thái ô được đưa qua tanh rồi nhân với kết quả của cổng đầu ra.

Trình Tự Xử Lý Theo Từng Bước

Tại mỗi bước thời gian (t), LSTM nhận đầu vào hiện tại (x_t), trạng thái ẩn trước đó (h_{t-1}) và trạng thái ô trước đó (C_{t-1}), rồi:

  1. Cổng quên xác định thông tin cần loại bỏ.
  2. Cổng đầu vào và giá trị ứng viên xác định thông tin mới cần lưu.
  3. Trạng thái ô được cập nhật bằng cách kết hợp phần giữ lại và phần thêm mới.
  4. Cổng đầu ra quyết định nội dung xuất ra thành (h_t).

Tài liệu Dive into Deep Learning bản tiếng Việt tóm tắt rằng LSTM có ba loại cổng kiểm soát luồng thông tin, và chỉ trạng thái ẩn được truyền sang lớp đầu ra, còn ô nhớ nằm hoàn toàn bên trong.

So Sánh LSTM Với RNN Và GRU

Mô hình Khả năng ghi nhớ Cấu trúc Tình huống thường gặp
RNN cơ bản Ngắn, dễ quên Một trạng thái ẩn Chuỗi ngắn, tác vụ đơn giản
LSTM Dài, giữ được qua nhiều bước Ba cổng + trạng thái ô Văn bản dài, dịch máy, chuỗi thời gian phức tạp
GRU Dài, gần tương đương Gộp cổng, ít tham số hơn Khi cần tốc độ và dữ liệu vừa phải

GRU là biến thể gộp bớt cổng để nhẹ hơn, trong khi LSTM giữ thiết kế đầy đủ. Cả hai cùng nhằm giảm tiêu biến gradient, lựa chọn nào phù hợp tùy tác vụ và lượng dữ liệu.

Điểm Mạnh Và Điều Cần Lưu Ý

Câu Hỏi Thường Gặp

LSTM viết tắt của từ gì?

LSTM viết tắt của Long Short-Term Memory, tạm dịch là bộ nhớ dài-ngắn hạn. Tên gọi gợi ý rằng nó cho phép một dạng bộ nhớ ngắn hạn kéo dài qua rất nhiều bước thời gian.

Vì sao LSTM chống được tiêu biến gradient?

Nhờ trạng thái ô chạy gần như thẳng theo chuỗi và các cổng cho phép thông tin đi tiếp với ít biến đổi, gradient có thể truyền ngược dễ dàng hơn thay vì co lại gần như bằng không.

LSTM khác RNN ở đâu?

RNN cơ bản chỉ có một trạng thái ẩn và dễ mất thông tin cũ. LSTM thêm trạng thái ô cùng ba cổng để chọn lọc thông tin, nhờ đó ghi nhớ được các phụ thuộc dài hơn.

LSTM còn được dùng ngày nay không?

Có. LSTM vẫn xuất hiện trong nhiều tác vụ chuỗi và chuỗi thời gian, dù các kiến trúc transformer ngày càng được dùng nhiều cho xử lý ngôn ngữ quy mô lớn.

Tóm Lại

LSTM là mạng nơ-ron hồi quy có trạng thái ô và ba cổng — quên, đầu vào, đầu ra — giúp chọn lọc thông tin và học phụ thuộc dài hạn, đồng thời giảm tiêu biến gradient. Để hiểu bối cảnh, hãy đọc thêm về mạng nơ-ron, mạng tích chập và mạng hồi quy.

Sources

  1. https://fpt.ai/vi/bai-viet/long-short-term-memory/
  2. https://vi.d2l.ai/chapter_recurrent-modern/lstm.html

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free