Apa Itu Attention Mechanism? Penjelasan Mekanisme Perhatian untuk Pemula
Attention mechanism (mekanisme perhatian) adalah teknik pada model pembelajaran mesin yang memberi bobot pada setiap bagian input berdasarkan tingkat relevansinya, sehingga model bisa "memperhatikan" informasi yang paling penting untuk tugas saat itu. Misalnya saat menerjemahkan kalimat, model dapat menaikkan bobot kata yang paling berkaitan dengan kata yang sedang diterjemahkan, bukan memperlakukan semua kata sama besar. Teknik ini menjadi inti dari arsitektur transformer yang dipakai banyak model bahasa besar.
Jika Anda sudah membaca tentang jaringan saraf berulang, attention hadir untuk mengatasi kelemahan jaringan tersebut saat menangani urutan yang panjang.
Masalah yang Diatasi
Pada sistem penerjemahan model urutan-ke-urutan yang lebih lama, seluruh kalimat input harus diringkas terlebih dahulu menjadi satu vektor konteks, lalu decoder membuat output hanya dari vektor itu. Pendekatan ini menimbulkan bottleneck:
- informasi dari awal kalimat panjang bisa melemah atau hilang,
- satu vektor harus menampung semua makna,
- makin panjang kalimatnya, makin sulit model mempertahankan detail.
Attention mengatasi hal ini dengan mengizinkan decoder mengakses semua keadaan tersembunyi dari encoder dan memilih sendiri bagian mana yang relevan pada setiap langkah.
Tiga Komponen: Query, Key, dan Value
BINUS University menjelaskan bahwa perhitungan attention melibatkan tiga komponen utama.
| Komponen | Peran | Analogi sederhana |
|---|---|---|
| Query (Q) | Representasi elemen yang sedang diproses | Pertanyaan yang sedang diajukan |
| Key (K) | Representasi setiap elemen pada input | Label pada rak buku |
| Value (V) | Informasi aktual yang terkait pada setiap key | Isi buku yang sebenarnya |
Cara kerjanya: model menghitung kesamaan antara query dengan setiap key, mengubah skor tersebut menjadi bobot perhatian, lalu menjumlahkan value berdasarkan bobot itu. Elemen yang cocok dengan query mendapat bobot lebih besar.
Cara Perhitungan Secara Umum
Secara garis besar, langkahnya sebagai berikut.
- Hitung skor kesamaan antara query dan setiap key.
- Ubah skor menjadi bobot yang jumlahnya satu, sering kali memakai fungsi softmax.
- Kalikan setiap value dengan bobotnya.
- Jumlahkan hasilnya untuk mendapatkan konteks berbobot.
IBM menjelaskan bahwa mekanisme ini memungkinkan model menambah pengaruh bagian input yang relevan dan mengurangi bagian yang kurang penting, tanpa harus membuang informasi sepenuhnya.
Self-Attention dan Multi-Head
Dua istilah yang sering muncul adalah:
- Self-attention: hubungan bobot diterapkan di dalam satu urutan yang sama, sehingga setiap kata dapat mengaitkan diri dengan kata lain dalam kalimat yang sama. DataCamp memberi contoh kata "are" yang bisa dihubungkan dengan kata "you".
- Multi-head attention: beberapa perhitungan attention dijalankan paralel, masing-masing bisa menangkap pola hubungan yang berbeda, lalu hasilnya digabungkan.
Pendekatan paralel ini memungkinkan seluruh token diproses bersamaan, berbeda dari jaringan berulang yang bekerja satu per satu.
Attention vs Jaringan Saraf Berulang
| Aspek | Jaringan saraf berulang (RNN) | Attention |
|---|---|---|
| Cara proses | Urutan diproses satu per satu | Banyak posisi bisa ditimbang bersamaan |
| Akses informasi | Melewati keadaan tersembunyi sebelumnya | Langsung ke seluruh bagian input |
| Kalimat panjang | Informasi awal bisa melemah | Bobot bisa menyorot posisi mana pun |
| Pararelisasi | Terbatas | Lebih mudah dijalankan paralel |
Karena keunggulan ini, arsitektur yang membangun diri di atas attention menggantikan banyak penggunaan RNN pada model bahasa modern. Keduanya tetap dipelajari bersama karena LSTM dan RNN menjadi dasar untuk memahami mengapa attention dikembangkan.
Contoh Penerapan
- Penerjemahan mesin: menyorot kata sumber yang relevan untuk setiap kata hasil.
- Ringkasan teks: menimbang kalimat mana yang paling penting.
- Tanya jawab: menghubungkan pertanyaan dengan bagian dokumen yang memuat jawaban.
- Pengenalan ucapan dan visi: pola attention juga dipakai untuk menautkan bagian data yang saling berkaitan.
Keterbatasan
- Pada urutan yang sangat panjang, attention standar membutuhkan banyak perhitungan karena setiap posisi dibandingkan dengan setiap posisi lain.
- Bobot attention tidak selalu mudah diinterpretasikan sebagai alasan yang jelas.
- Model tetap perlu data latih yang memadai dan validasi agar tidak menghasilkan output yang keliru.
- Attention adalah komponen, bukan model yang berdiri sendiri; ia dirangkai dengan lapisan lain dalam satu arsitektur.
Pertanyaan yang Sering Diajukan
Apa itu attention mechanism secara singkat? Teknik yang memberi bobot pada bagian input sesuai relevansi, sehingga model memfokuskan perhatian pada informasi yang paling dibutuhkan untuk tugas saat itu.
Apa bedanya query, key, dan value? Query mewakili elemen yang sedang diproses, key mewakili setiap elemen input, dan value adalah informasi aktual yang akan digabungkan berdasarkan bobot.
Apa itu self-attention? Bentuk attention yang menghubungkan elemen-elemen di dalam satu urutan yang sama, sehingga setiap kata dapat menimbang keterkaitannya dengan kata lain dalam kalimat yang sama.
Mengapa attention dianggap lebih baik untuk kalimat panjang? Karena model dapat langsung memberi bobot pada posisi mana pun tanpa hanya mengandalkan keadaan tersembunyi yang dilempar dari langkah sebelumnya, sehingga informasi awal tidak mudah hilang.
Apakah attention sama dengan transformer? Tidak. Attention adalah mekanisme, sedangkan transformer adalah arsitektur yang menjadikan attention, khususnya multi-head self-attention, sebagai komponen utamanya.
Langkah Berikutnya
Untuk memahami konteksnya, baca kembali pengantar pembelajaran mendalam dan pemrosesan bahasa alami. Setelah itu, pelajari pendahulunya yaitu jaringan saraf berulang dan LSTM, serta cara bobot model diperbarui melalui penurunan gradien.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free