Apa Itu Transformator? Arsitektur di Balik Model Bahasa Besar
Transformator (sering ditulis transformer) adalah arsitektur pembelajaran mendalam yang diperkenalkan pada 2017 lewat makalah "Attention Is All You Need" dan mengandalkan mekanisme atensi (attention), terutama self-attention, untuk memproses seluruh token secara bersamaan tanpa harus membacanya satu per satu seperti jaringan berulang (RNN). Kemampuan memproses data secara paralel ini mempercepat pelatihan dan menjadikan transformator dasar bagi sebagian besar model bahasa besar (LLM) modern, seperti GPT dan BERT.
Mengapa transformator diciptakan
Sebelum transformator, sistem pemrosesan bahasa alami yang maju banyak menggunakan jaringan saraf berulang seperti RNN dan LSTM, yang membaca token secara berurutan sambil menyimpan sebuah vektor status. Pendekatan ini punya dua keterbatasan:
- Informasi dari token awal bisa melemah pada kalimat panjang, terkait masalah menyusutnya gradien (vanishing gradient).
- Setiap token bergantung pada hasil token sebelumnya, sehingga perhitungan sulit dijalankan secara paralel dan pelatihan menjadi lambat.
Transformator mengatasi keduanya dengan membuang struktur berulang dan hanya menggunakan mekanisme atensi. Semua token diproses sekaligus, dan setiap token dapat "memperhatikan" token lain secara langsung, termasuk yang posisinya jauh.
Ide inti: self-attention
Self-attention (perhatian diri) memungkinkan model menimbang seberapa relevan setiap token terhadap token lain dalam satu urutan. Saat memproses sebuah kata, model menghitung skor keterkaitan dengan kata-kata lainnya, lalu menggabungkan informasinya dengan bobot yang sesuai.
Contoh sederhana, pada kalimat "kucing mengejar bola karena ia lapar", model dapat mempelajari bahwa kata "ia" merujuk pada "kucing", bukan pada "bola". Inilah yang membuat representasi setiap token menjadi kontekstual, bukan tetap.
Pada praktiknya, transformator menggunakan multi-head attention: beberapa "kepala" atensi berjalan paralel, dan masing-masing dapat menangkap hubungan yang berbeda, seperti rujukan, waktu, atau hubungan sebab-akibat.
Bagian utama: encoder dan decoder
Transformator standar terdiri dari lapisan encoder dan decoder yang ditumpuk. Terdapat tiga variasi umum: encoder-saja, decoder-saja, dan encoder-decoder, tergantung tugasnya.
| Bagian | Tugas | Sub-lapisan utama |
|---|---|---|
| Encoder | Membuat representasi kontekstual dari seluruh input | Self-attention dan jaringan feed-forward |
| Decoder | Menghasilkan output secara bertahap | Masked self-attention, cross-attention, dan feed-forward |
Encoder
Setiap lapisan encoder menerima urutan vektor, menerapkan self-attention untuk mencampur informasi antar-token, lalu menerapkan jaringan feed-forward pada setiap vektor secara individual. Karena seluruh input diproses bersamaan, setiap token dapat memperhatikan semua token lainnya tanpa penutupan (masking).
Decoder
Decoder bekerja secara autoregresif, yaitu menghasilkan output satu token demi satu token. Ia memakai masked self-attention agar sebuah token tidak dapat melihat token yang belum dihasilkan, serta cross-attention untuk mengambil informasi relevan dari output encoder. Itulah sebabnya decoder cocok untuk tugas pembangkitan teks.
Posisi dan penyematan
Karena transformator membaca semua token sekaligus, ia tidak secara alami tahu urutan. Posisi ditambahkan lewat positional encoding (penyandian posisi), yang memberi informasi letak setiap token. Token terlebih dahulu diubah menjadi vektor melalui lapisan penyematan (embedding), lalu ditambah informasi posisi sebelum masuk ke lapisan encoder atau decoder.
Alur data secara ringkas
- Token input diubah menjadi vektor embedding.
- Informasi posisi ditambahkan.
- Encoder membangun representasi kontekstual lewat self-attention dan feed-forward.
- Decoder menggunakan cross-attention atas output encoder dan menghasilkan token secara autoregresif.
- Lapisan akhir mengubah vektor menjadi probabilitas token berikutnya.
Mengapa transformator penting
| Aspek | Dampak |
|---|---|
| Paralelisasi | Seluruh token diproses bersamaan, pelatihan lebih cepat |
| Akses langsung | Token jauh dapat dihubungkan tanpa melewati banyak langkah |
| Skalabilitas | Cocok untuk data dan model berukuran besar |
| Fondasi LLM | Menjadi dasar GPT, BERT, dan banyak model modern |
| Luas bidang | Dipakai juga pada visi komputer, audio, dan data multimodal |
Setelah transformator, model pralatih seperti BERT dan GPT dapat dilatih pada korpus besar seperti Wikipedia dan Common Crawl, lalu disesuaikan untuk tugas tertentu. Arsitektur ini juga dipakai pada vision transformer (ViT) untuk gambar, sehingga tidak terbatas pada teks.
Hubungan dengan konsep lain
Untuk memahami posisi transformator, Anda dapat membaca penjelasan tentang jaringan saraf tiruan dan mekanisme atensi, yang menjadi inti dari arsitektur ini. Perbandingan dengan jaringan saraf berulang menjelaskan masalah yang ingin dipecahkan, sementara penyematan dan perambatan mundur adalah bagian dari proses pelatihannya.
FAQ
Apa bedanya transformator dengan RNN?
RNN membaca token secara berurutan dan menyimpan status, sehingga sulit diparalelkan. Transformator memproses semua token sekaligus menggunakan self-attention, sehingga pelatihan lebih cepat dan setiap token dapat terhubung langsung dengan token lain, termasuk yang jauh.
Apa itu self-attention?
Self-attention adalah mekanisme yang menimbang hubungan antar-token dalam satu urutan, sehingga representasi setiap token memuat konteks dari token lain. Multi-head attention menjalankan beberapa proses atensi sekaligus untuk menangkap hubungan yang berbeda.
Apa fungsi encoder dan decoder?
Encoder membangun representasi kontekstual dari input, sedangkan decoder menghasilkan output secara bertahap dengan memanfaatkan output encoder lewat cross-attention. Sebagian model memakai encoder saja atau decoder saja, tergantung tugasnya.
Mengapa perlu positional encoding?
Karena transformator memproses token secara bersamaan, ia tidak memiliki urutan bawaan. Penyandian posisi menambahkan informasi letak agar model memahami urutan kata.
Apakah transformator hanya untuk teks?
Tidak. Selain pemrosesan bahasa, arsitektur ini dipakai pada visi komputer melalui vision transformer, serta pada audio dan tugas multimodal.
Poin penting
- Transformator adalah arsitektur pembelajaran mendalam berbasis mekanisme atensi yang diperkenalkan pada 2017.
- Self-attention memproses semua token sekaligus dan menghubungkan token secara langsung.
- Encoder dan decoder, beserta positional encoding, adalah komponen utamanya.
- Paralelisasi mempercepat pelatihan dan menjadikannya dasar model bahasa besar modern.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free