LSTM Itu Apa? Penjelasan Jaringan Saraf yang Bisa Ingat Lama
LSTM (Long Short-Term Memory) adalah jenis jaringan saraf berulang yang dirancang untuk mengingat informasi dalam jangka waktu lama pada data berurutan, dengan memakai sel memori dan gerbang yang mengatur aliran informasi. LSTM diperkenalkan untuk mengatasi masalah gradien hilang yang membuat jaringan saraf berulang biasa sulit menangkap ketergantungan jarak jauh. Model ini banyak dipakai untuk teks, suara, dan deret waktu.
Bila Anda sudah membaca jaringan saraf berulang, anggap LSTM sebagai versi yang lebih rapi dalam mengelola memori. Jaringan biasa menimpa keadaan tersembunyi di setiap langkah, sehingga informasi awal cepat terlupakan. LSTM menambah jalur memori terpisah yang bisa menyimpan konteks lebih lama.
Masalah Apa yang Diselesaikan LSTM?
Jaringan saraf berulang memproses data satu langkah demi satu langkah, dan keadaan tersembunyi dari satu langkah menjadi masukan untuk langkah berikutnya. Secara teori ini memungkinkan jaringan memakai konteks masa lalu. Pada praktiknya, jaringan tersebut kesulitan dengan urutan panjang.
Saat pelatihan, sinyal kesalahan mengalir mundur melalui banyak langkah. Jika sinyal itu makin mengecil di setiap perkalian, bobot pada langkah awal hampir tidak diperbarui. Inilah masalah gradien hilang, yang membuat jaringan gagal menghubungkan informasi yang berjauhan, misalnya kata ganti dengan kata yang dirujuknya di awal kalimat.
LSTM dirancang agar gradien bisa mengalir tanpa menyusut tajam, sehingga jaringan dapat belajar ketergantungan jangka panjang yang tidak tertangani oleh jaringan berulang biasa.
Ide Inti: Sel Memori dan Gerbang
Komponen kunci LSTM adalah cell state (keadaan sel), yaitu jalur memori yang mengalir lurus dari satu langkah ke langkah berikutnya. Berbeda dengan keadaan tersembunyi yang berubah banyak, keadaan sel hanya dimodifikasi lewat interaksi yang dikendalikan oleh gerbang.
Gerbang adalah lapisan dengan fungsi aktivasi sigmoid yang menghasilkan angka antara 0 dan 1, diikuti perkalian antar-unsur. Angka mendekati 1 berarti informasi dilewatkan, sedangkan mendekati 0 berarti informasi ditahan. Dengan mekanisme ini, LSTM memilih apa yang disimpan, apa yang dibuang, dan apa yang dikeluarkan pada setiap langkah waktu.
Tiga Gerbang pada LSTM
Satu unit LSTM standar memiliki tiga gerbang dengan peran berbeda.
- Gerbang pelupa (forget gate): menentukan informasi mana dari keadaan sel sebelumnya yang harus dibuang. Gerbang ini membaca keadaan tersembunyi sebelumnya dan masukan saat ini, lalu memberi nilai 0 sampai 1 untuk setiap unsur.
- Gerbang masuk (input gate): memutuskan informasi baru mana yang layak ditambahkan ke keadaan sel. Sebuah lapisan sigmoid memilih unsur yang diperbarui, dan lapisan tanh membuat vektor kandidat nilai baru.
- Gerbang keluar (output gate): mengatur bagian mana dari keadaan sel yang diekspos menjadi keadaan tersembunyi untuk langkah berikutnya.
Cara Perhitungan Langkah demi Langkah
Pada satu langkah waktu, urutan kerjanya sebagai berikut.
- Gerbang pelupa menghitung nilai dari keadaan tersembunyi sebelumnya dan masukan saat ini, lalu memilih unsur keadaan sel lama yang dipertahankan.
- Gerbang masuk menentukan posisi yang diperbarui, sementara tanh menyusun nilai kandidat untuk keadaan sel.
- Keadaan sel diperbarui dengan menggabungkan memori lama yang masih dijaga dan nilai baru yang diterima.
- Gerbang keluar memilih bagian keadaan sel yang ditampilkan, dan hasilnya menjadi keadaan tersembunyi baru.
Pembagian ini membuat perubahan pada keadaan sel bersifat terkendali, bukan penimpaan penuh seperti pada jaringan berulang sederhana.
Mengapa LSTM Mengatasi Gradien Hilang
Keadaan sel diperbarui lewat penjumlahan terbuka dan perkalian dengan nilai gerbang, bukan lewat rantai fungsi yang menumpuk di setiap langkah. Saat pelatihan, jalur ini memungkinkan gradien mengalir mundur melalui banyak langkah dengan perubahan yang lebih kecil.
Hasilnya, informasi dapat dipertahankan selama ratusan langkah waktu tanpa degradasi berarti. LSTM tidak menjamin setiap ketergantungan tertangani, tetapi ia menyediakan jalur yang lebih stabil untuk belajar hubungan jarak jauh dibanding jaringan berulang biasa.
LSTM vs RNN Biasa
| Aspek | LSTM | RNN Biasa |
|---|---|---|
| Struktur memori | Keadaan sel + keadaan tersembunyi | Hanya keadaan tersembunyi |
| Jumlah gerbang | Tiga (pelupa, masuk, keluar) | Tidak ada gerbang |
| Penanganan urutan panjang | Lebih stabil | Cepat kehilangan konteks awal |
| Risiko gradien hilang | Lebih rendah | Tinggi pada urutan panjang |
| Jumlah parameter | Lebih banyak | Lebih sedikit |
| Biaya pelatihan | Lebih besar | Lebih ringan |
Kapan LSTM Dipakai
LSTM umum dipakai ketika urutan dan konteks masa lalu berpengaruh pada hasil. Contoh penggunaannya meliputi pemodelan bahasa dan analisis sentimen, pengenalan suara, penerjemahan mesin, serta peramalan deret waktu seperti harga, cuaca, atau data sensor. Sejumlah tugas yang dahulu memakai LSTM kini juga memakai arsitektur transformer, tetapi LSTM masih dipakai terutama saat data berupa deret waktu dan sumber daya komputasi terbatas.
Keterbatasan
Struktur tiga gerbang membuat LSTM punya lebih banyak parameter dan waktu pelatihan lebih besar dibanding jaringan sederhana. Karena langkah-langkahnya saling bergantung, LSTM juga sulit diparalelkan sepenuhnya seperti model berbasis perhatian. Pada urutan yang sangat panjang, biaya komputasi tetap menjadi kendala, dan versi yang lebih ringkas seperti GRU kadang dipilih ketika kebutuhan parameter ingin ditekan.
Pertanyaan yang Sering Diajukan
Apa itu LSTM secara singkat? LSTM adalah jaringan saraf berulang yang memakai sel memori dan tiga gerbang untuk menyimpan serta mengatur informasi, sehingga bisa menangani konteks jangka panjang pada data berurutan.
Apa bedanya LSTM dengan RNN? RNN biasa hanya mengandalkan satu keadaan tersembunyi dan mudah kehilangan konteks awal. LSTM menambah keadaan sel dan gerbang yang mengatur aliran informasi, sehingga lebih stabil untuk urutan panjang.
Apa fungsi masing-masing gerbang? Gerbang pelupa membuang informasi lama yang tidak perlu, gerbang masuk menyimpan informasi baru, dan gerbang keluar memilih bagian memori yang ditampilkan pada langkah berikutnya.
Apakah LSTM masih dipakai setelah ada transformer? Masih. LSTM tetap digunakan untuk deret waktu dan tugas berurutan lainnya, terutama ketika biaya komputasi model berbasis perhatian terlalu besar untuk kebutuhan tersebut.
Langkah Berikutnya
Untuk melihat posisi LSTM dalam keseluruhan jaringan, baca kembali jaringan saraf berulang dan jaringan saraf tiruan. Anda juga bisa membandingkannya dengan jaringan saraf konvolusional, yang lebih sesuai untuk data bergambar.
Sources
- https://mti.binus.ac.id/2019/12/02/long-short-term-memory-lstm/
- https://rumahcoding.co.id/blog/teori-dan-implementasi-recurrent-neural-network-dengan-lstm-untuk-prediksi-time-series/
- https://event.cloudcomputing.id/pengetahuan-dasar/apa-long-short-term-memory
- https://aihub.id/pengetahuan-dasar/apa-long-short-term-memory
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free