Apa Itu Backpropagation? Penjelasan Sederhana Jaringan Saraf
Backpropagation (algoritma perambatan mundur, "perambatan balik kesalahan") adalah algoritma yang memakai aturan rantai (chain rule) dari kalkulus untuk menghitung seberapa besar setiap bobot dalam jaringan saraf berkontribusi pada kesalahan prediksi; algoritma ini bekerja mundur dari lapisan keluaran, sehingga pengoptimal seperti penurunan gradien dapat menyesuaikan bobot dan mengurangi kesalahan berikutnya.
Apa yang sebenarnya dikerjakan backpropagation
Jaringan saraf membuat prediksi dengan mengalirkan data maju melalui lapisan koneksi berbobot. Saat prediksi keliru, jaringan butuh cara menanggung kesalahan: bobot mana yang harus berubah, dan seberapa besar. Backpropagation menjawabnya dengan menghitung gradien kerugian terhadap setiap bobot dan bias. Secara teknis ini adalah metode penghitungan gradien; langkah yang benar-benar mengubah bobot biasanya merupakan pengoptimal terpisah seperti penurunan gradien.
Masalah yang dipecahkannya
Menyesuaikan bobot pada model satu lapisan terbilang mudah, tetapi jaringan dengan beberapa lapisan tersembunyi membentuk rantai perhitungan yang bertumpuk. Menghitung pengaruh tiap bobot satu per satu akan mengulang banyak aritmetika. Backpropagation memakai kembali hasil antara saat bergerak mundur, sehingga melatih jaringan berlapis menjadi praktis secara komputasi. Pendekatan ini dikenal luas setelah makalah tahun 1986 oleh Rumelhart, Hinton, dan Williams, meski ide terkait diferensiasi otomatis sudah muncul lebih awal.
Laju maju versus laju mundur
| Laju | Arah | Yang dihitung |
|---|---|---|
| Laju maju (forward pass) | Masukan ke keluaran | Aktivasi dan prediksi, lalu kerugian |
| Laju mundur (backward pass) | Keluaran ke masukan | Gradien kerugian untuk tiap bobot dan bias |
Pada laju maju, setiap neuron menerapkan bobot dan fungsi aktivasi untuk menghasilkan keluaran. Fungsi kerugian kemudian membandingkan keluaran itu dengan target. Pada laju mundur, sinyal kesalahan bergerak dari lapisan keluaran kembali ke masukan, satu lapisan demi satu lapisan.
Aturan rantai, langkah demi langkah
Backpropagation adalah penggunaan aturan rantai yang efisien. Untuk lapisan (l), sebuah suku kesalahan yang sering ditulis (\delta) diturunkan dari lapisan di depannya:
[ \delta^{l} = (f^{l})' \circ (W^{l+1})^{T}\delta^{l+1} ]
Di sini ((f^{l})') adalah turunan fungsi aktivasi dan (W^{l+1}) menyimpan bobot lapisan berikutnya. Setelah (\delta) diketahui, gradien sebuah bobot mengikuti aktivasi yang masuk ke sana. Karena tiap lapisan memakai kembali gradien lapisan di depannya, kuantitas yang sama tidak dihitung ulang.
Bagaimana bobot kemudian diperbarui
Backpropagation menyediakan gradien; pengoptimal memakainya. Pada pembaruan penurunan gradien dasar, bobot (w) bergeser satu langkah kecil berlawanan dengan gradiennya:
[ w_{\text{baru}} = w_{\text{lama}} - \eta\frac{\partial L}{\partial w} ]
Simbol (\eta) adalah laju pembelajaran, yang mengatur ukuran langkah. Satu putaran penuh atas data latih, yang terbagi menjadi pembaruan maju dan mundur, sering disusun dalam epoch dan batch.
Istilah yang akan ditemui
| Istilah | Arti dalam konteks ini |
|---|---|
| Gradien | Arah dan laju perubahan kerugian saat sebuah bobot berubah |
| Epoch | Satu lintasan penuh atas data latih |
| Batch | Subset contoh yang dipakai dalam satu pembaruan |
| Laju pembelajaran | Faktor yang mengatur besar setiap pembaruan |
| Aturan rantai | Aturan kalkulus untuk menurunkan fungsi bertumpuk |
Batasan yang perlu jujur diakui
Backpropagation sendiri tidak menjamin model yang berguna; ia bergantung pada data, fungsi kerugian, dan pengoptimal yang dipilih. Pada jaringan dalam, gradien bisa menjadi sangat kecil saat bergerak mundur melewati banyak lapisan, kondisi yang disebut masalah gradien hilang (vanishing gradient), yang diatasi melalui pilihan aktivasi dan desain jaringan. Ia juga mengandalkan fungsi yang dapat diturunkan (terdiferensiasi), sehingga bagian model tanpa gradien tidak bisa dilatih dengan cara ini.
Pertanyaan umum
Apakah backpropagation sama dengan penurunan gradien?
Beda. Backpropagation menghitung gradien, sedangkan penurunan gradien adalah pengoptimal yang memakai gradien tersebut untuk memperbarui bobot. Keduanya biasanya bekerja bersama tetapi merupakan langkah terpisah.
Mengapa backpropagation bergerak mundur?
Karena kesalahan diketahui di lapisan keluaran, dan aturan rantai membuat tiap lapisan tersembunyi dapat menyimpulkan kontribusinya dari lapisan tepat di depannya, sambil memakai kembali hasil.
Apa peran turunan fungsi aktivasi?
Ia mengatur seberapa banyak sinyal kesalahan melewati neuron pada laju mundur; karena itu turunan yang mendekati nol bisa memperlambat pembelajaran.
Apakah backpropagation bekerja untuk semua jaringan saraf?
Ia berlaku untuk jaringan feed-forward dengan operasi yang dapat diturunkan; arsitektur dengan loop atau langkah non-diferensiabel membutuhkan metode tambahan atau penanganan yang dimodifikasi.
Apa yang terjadi saat memanggil .backward() di PyTorch?
Saat laju maju, PyTorch membangun graf komputasi dinamis. Ketika .backward() dipanggil, mesin autograd menelusuri graf itu mundur dan menyimpan gradien pada atribut .grad tiap parameter.
Poin utama
- Backpropagation menghitung gradien kerugian terhadap tiap bobot memakai aturan rantai.
- Laju maju menghasilkan prediksi dan kerugian; laju mundur menanggung kesalahan lapisan demi lapisan.
- Pengoptimal, bukan backpropagation sendiri, yang menjalankan pembaruan bobot.
- Gradien yang sangat kecil pada jaringan dalam bisa menghambat latihan dan membutuhkan pilihan desain yang sengaja.
Lanjutkan dengan jaringan saraf tiruan, pembelajaran mendalam, dan penurunan gradien.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free