Penurunan Gradien Itu Apa? Cara Model Belajar dari Kesalahan

Updated · By Viviai

Penurunan gradien adalah algoritme pengoptimalan yang melatih model dengan menghitung gradien fungsi biaya, lalu memperbarui parameter secara berulang ke arah yang menurunkan kesalahan sampai nilai kesalahan mendekati minimum.

Analogi sederhana

Bayangkan berdiri di lereng bukit dalam kabut tebal. Lembah tidak terlihat, tetapi kemiringan di bawah kaki masih terasa. Setiap langkah diambil ke arah tanah paling menurun, lalu kemiringan dirasakan lagi, sampai tiba di dataran rendah. Penurunan gradien bekerja dengan cara yang sama, tetapi yang "dilirik" adalah kemiringan fungsi biaya.

Apa itu gradien

Gradien adalah perluasan konsep turunan ke banyak dimensi, berupa vektor yang menunjuk ke arah kenaikan paling curam. Karena pelatihan ingin menurunkan kesalahan, model bergerak ke arah negatif gradien. Di titik minimum, nilai gradien mendekati nol.

Langkah kerja

Aturan pembaruan dasarnya adalah:

[ \theta_{\text{baru}} = \theta_{\text{lama}} - \eta \nabla J(\theta) ]

dengan (\theta) sebagai parameter, (\eta) sebagai laju pembelajaran, dan (\nabla J) sebagai gradien fungsi biaya. Siklusnya:

  1. Tentukan nilai awal parameter, sering kali acak.
  2. Hitung prediksi dan fungsi biaya.
  3. Hitung gradien untuk setiap parameter.
  4. Perbarui parameter ke arah negatif gradien.
  5. Ulangi sampai perubahan menjadi sangat kecil atau batas iterasi tercapai.

Jenis yang umum

Jenis Data yang dipakai per langkah Ciri
Penurunan gradien batch Seluruh dataset Stabil tetapi lambat pada data besar
Penurunan gradien stokastik (SGD) Satu sampel acak Cepat tetapi lebih bising
Penurunan gradien mini-batch Sekelompok kecil sampel Keseimbangan antara stabil dan cepat

Peran laju pembelajaran

Laju pembelajaran menentukan besar langkah. Nilai yang terlalu besar bisa membuat model melompati minimum atau bahkan tidak stabil, sedangkan nilai yang terlalu kecil membuat pelatihan berjalan sangat lama. Pada fungsi yang cembung dengan laju yang cukup kecil, algoritme dapat mendekati minimum global.

Keterbatasan yang perlu jujur

Pada fungsi non-cembung, penurunan gradien bisa berhenti di minimum lokal dan tidak menjangkau minimum global. Hasil juga bisa bergantung pada titik awal, sehingga model sering dijalankan beberapa kali dengan inisialisasi berbeda.

FAQ

Apa itu penurunan gradien secara singkat?

Algoritme pengoptimalan yang memperbarui parameter berulang ke arah negatif gradien untuk menurunkan fungsi biaya.

Apa bedanya gradien dengan turunan?

Turunan umumnya untuk satu variabel, sedangkan gradien adalah vektor turunan untuk banyak variabel.

Mengapa SGD lebih bising?

Karena setiap langkah hanya memakai satu sampel, arah gradien bisa berubah-ubah meskipun rata-ratanya tetap menurun.

Apa risiko laju pembelajaran yang terlalu besar?

Model bisa melompati titik minimum atau membuat nilai fungsi biaya tidak stabil alih-alih menurun.

Poin utama

Baca lanjut regresi linear dan apa itu machine learning.

Sources

  1. https://www.ibm.com/id-id/think/topics/gradient-descent
  2. https://www.ibm.com/id-id/think/topics/stochastic-gradient-descent
  3. https://aws.amazon.com/what-is/gradient-descent/

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free