Apa Itu Regularisasi dalam Machine Learning? Cara Mengurangi Overfitting
Regularisasi adalah sekumpulan teknik dalam machine learning yang membatasi atau memberi penalti pada kompleksitas model, agar model tidak sekadar menghafal data latih melainkan lebih mampu menggeneralisasi data baru. Cara paling umum adalah menambahkan term penalti pada fungsi kerugian, sehingga bobot yang terlalu besar ikut dihukum dan risiko overfitting berkurang.
Intuisi sederhana
Bayangkan dua siswa menghadapi ujian. Siswa pertama menghafal semua catatan, termasuk satu contoh janggal yang hanya disebut sekali; nilai latihannya tinggi, tetapi saat ujian sebenarnya nilainya turun. Siswa kedua hanya memegang aturan inti yang sederhana; nilai latihannya sedikit lebih rendah, tetapi nilai ujiannya stabil.
Regularisasi bekerja seperti disiplin siswa kedua. Ia membuat model lebih menyukai pola umum yang sederhana daripada menghafal derau dan pasang surut acak di dalam data.
Mengapa regularisasi diperlukan
Saat model terlalu kuat atau jumlah fiturnya banyak, model dapat menyesuaikan diri terlalu erat dengan data latih, termasuk derau di dalamnya. Kondisi ini disebut overfitting: kinerja pada data yang sudah dilihat tampak bagus, tetapi kinerja pada data baru justru buruk.
DataCamp menjelaskan bahwa tanpa batasan, model memiliki keluwesan untuk menekan error latih sekecil mungkin. Regularisasi menahan keluwesan ini dengan menambahkan penalti, sehingga model mencari keseimbangan antara mencocokkan data dan tetap sederhana.
L1 dan L2: dua bentuk penalti yang umum
| Aspek | L1 (regresi Lasso) | L2 (regresi Ridge) |
|---|---|---|
| Term penalti | Jumlah nilai absolut koefisien | Jumlah kuadrat koefisien |
| Efek pada bobot | Sebagian menjadi tepat nol | Semua mengecil, jarang mencapai nol |
| Seleksi fitur | Ya, bersifat otomatis | Tidak |
| Model yang dihasilkan | Spars (sedikit fitur aktif) | Padat, banyak fitur dengan bobot kecil |
| Cocok saat | Banyak fitur tidak relevan | Sebagian besar fitur relevan |
Cara kerja L2 (regresi Ridge)
L2 memberi penalti sebanding dengan kuadrat besarnya koefisien. Semakin besar sebuah koefisien, semakin besar penalti yang ditimbulkannya, sehingga model terdorong mengecilkan bobot. Kata kuncinya adalah mengecilkan: L2 menarik koefisien ke arah nol tetapi pada praktiknya tidak menghapusnya sampai nol, sehingga setiap fitur tetap memberi kontribusi.
Pada model yang dilatih dengan penurunan gradien, L2 sering disebut weight decay karena bobot menyusut sedikit pada setiap pembaruan.
Cara kerja L1 (regresi Lasso)
L1 memberi penalti pada nilai absolut koefisien, bukan kuadratnya. Tarikannya tetap besar sampai koefisien mencapai nol, sehingga banyak koefisien yang lemah terdorong menjadi tepat nol. Inilah yang membuat L1 berfungsi sebagai seleksi fitur otomatis dan menghasilkan model yang lebih sederhana serta lebih mudah dijelaskan.
Penelitian yang tercatat di Garuda memakai LASSO dan Ridge untuk regresi linier berganda pada data berdimensi tinggi, guna mengatasi multikolinearitas, dan membandingkan keduanya lewat nilai mean squared error.
Teknik regularisasi lain
Selain penalti pada bobot, beberapa teknik lain juga dipakai untuk menekan overfitting:
- Dropout: mematikan sebagian unit secara acak selama pelatihan pada jaringan saraf, sehingga model tidak bergantung pada satu unit.
- Penghentian dini (early stopping): menghentikan pelatihan saat kinerja pada data validasi tidak lagi membaik.
- Elastic net: menggabungkan penalti L1 dan L2.
- Augmentasi data: menambah variasi data latih agar model tidak menghafal contoh spesifik.
Peran parameter alpha atau lambda
Kekuatan penalti diatur oleh sebuah hiperparameter yang sering ditulis alpha (α) atau lambda (λ). Nilai yang kecil hanya memberi batasan ringan, sedangkan nilai yang besar menekan model lebih kuat. Jika terlalu besar, model bisa menjadi terlalu sederhana dan justru underfit, sehingga nilainya lazim disetel melalui validasi silang.
Kelebihan dan keterbatasan
Regularisasi membantu model bekerja lebih stabil pada data baru dan memperbaiki keseimbangan bias-varians, dengan menerima sedikit kenaikan bias untuk menurunkan varians yang lebih besar. Di sisi lain, penalti yang terlalu kuat dapat menghilangkan pola yang sebenarnya berguna, dan pilihan jenis serta kekuatan regularisasi perlu diuji pada data masing-masing.
FAQ
Apa itu regularisasi secara singkat?
Teknik yang menambahkan penalti untuk membatasi kompleksitas model, sehingga model lebih mengandalkan pola umum dan tidak menghafal derau data latih.
Apa bedanya L1 dan L2?
L1 memakai nilai absolut dan dapat membuat koefisien tepat nol (seleksi fitur), sedangkan L2 memakai kuadrat dan hanya mengecilkan bobot tanpa menghapusnya.
Apa yang dimaksud weight decay?
Pandangan L2 pada pelatihan berbasis gradien, di mana bobot menyusut sedikit pada setiap langkah pembaruan.
Bisakah regularisasi menyebabkan underfitting?
Bisa. Jika penalti terlalu kuat, model menjadi terlalu sederhana dan gagal menangkap pola yang berguna.
Poin utama
- Regularisasi membatasi kompleksitas model untuk mengurangi overfitting.
- L2 (Ridge) mengecilkan bobot; L1 (Lasso) mengnolkan sebagian bobot dan memilih fitur.
- Dropout, penghentian dini, dan elastic net adalah teknik pelengkap.
- Kekuatan penalti diatur oleh alpha atau lambda dan perlu disetel hati-hati.
Baca lanjutan apa itu overfitting dan apa itu machine learning.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free