Penurunan Gradien Itu Apa? Cara Model Belajar dari Kesalahan
Penurunan gradien adalah algoritme pengoptimalan yang melatih model dengan menghitung gradien fungsi biaya, lalu memperbarui parameter secara berulang ke arah yang menurunkan kesalahan sampai nilai kesalahan mendekati minimum.
Analogi sederhana
Bayangkan berdiri di lereng bukit dalam kabut tebal. Lembah tidak terlihat, tetapi kemiringan di bawah kaki masih terasa. Setiap langkah diambil ke arah tanah paling menurun, lalu kemiringan dirasakan lagi, sampai tiba di dataran rendah. Penurunan gradien bekerja dengan cara yang sama, tetapi yang "dilirik" adalah kemiringan fungsi biaya.
Apa itu gradien
Gradien adalah perluasan konsep turunan ke banyak dimensi, berupa vektor yang menunjuk ke arah kenaikan paling curam. Karena pelatihan ingin menurunkan kesalahan, model bergerak ke arah negatif gradien. Di titik minimum, nilai gradien mendekati nol.
Langkah kerja
Aturan pembaruan dasarnya adalah:
[ \theta_{\text{baru}} = \theta_{\text{lama}} - \eta \nabla J(\theta) ]
dengan (\theta) sebagai parameter, (\eta) sebagai laju pembelajaran, dan (\nabla J) sebagai gradien fungsi biaya. Siklusnya:
- Tentukan nilai awal parameter, sering kali acak.
- Hitung prediksi dan fungsi biaya.
- Hitung gradien untuk setiap parameter.
- Perbarui parameter ke arah negatif gradien.
- Ulangi sampai perubahan menjadi sangat kecil atau batas iterasi tercapai.
Jenis yang umum
| Jenis | Data yang dipakai per langkah | Ciri |
|---|---|---|
| Penurunan gradien batch | Seluruh dataset | Stabil tetapi lambat pada data besar |
| Penurunan gradien stokastik (SGD) | Satu sampel acak | Cepat tetapi lebih bising |
| Penurunan gradien mini-batch | Sekelompok kecil sampel | Keseimbangan antara stabil dan cepat |
Peran laju pembelajaran
Laju pembelajaran menentukan besar langkah. Nilai yang terlalu besar bisa membuat model melompati minimum atau bahkan tidak stabil, sedangkan nilai yang terlalu kecil membuat pelatihan berjalan sangat lama. Pada fungsi yang cembung dengan laju yang cukup kecil, algoritme dapat mendekati minimum global.
Keterbatasan yang perlu jujur
Pada fungsi non-cembung, penurunan gradien bisa berhenti di minimum lokal dan tidak menjangkau minimum global. Hasil juga bisa bergantung pada titik awal, sehingga model sering dijalankan beberapa kali dengan inisialisasi berbeda.
FAQ
Apa itu penurunan gradien secara singkat?
Algoritme pengoptimalan yang memperbarui parameter berulang ke arah negatif gradien untuk menurunkan fungsi biaya.
Apa bedanya gradien dengan turunan?
Turunan umumnya untuk satu variabel, sedangkan gradien adalah vektor turunan untuk banyak variabel.
Mengapa SGD lebih bising?
Karena setiap langkah hanya memakai satu sampel, arah gradien bisa berubah-ubah meskipun rata-ratanya tetap menurun.
Apa risiko laju pembelajaran yang terlalu besar?
Model bisa melompati titik minimum atau membuat nilai fungsi biaya tidak stabil alih-alih menurun.
Poin utama
- Penurunan gradien menurunkan fungsi biaya secara berulang.
- Parameter bergerak ke arah negatif gradien.
- Batch, stokastik, dan mini-batch adalah varian yang umum.
- Laju pembelajaran mengatur besar setiap langkah.
Baca lanjut regresi linear dan apa itu machine learning.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free