Validasi Silang Adalah? Cara Menilai Model pada Data Baru
Validasi silang (cross-validation), juga disebut pengujian di luar sampel, adalah teknik menilai model dengan membagi data menjadi beberapa bagian, lalu melatih pada sebagian data dan menguji pada bagian lain yang tidak dipakai saat pelatihan, sehingga hasilnya memperkirakan bagaimana model bekerja pada data yang belum pernah dilihat. Teknik ini terutama dipakai untuk mendeteksi overfitting dan memberikan estimasi kinerja yang lebih stabil.
Masalah yang dijawab validasi silang
Jika model diuji pada data yang sama dengan data latih, hasilnya bisa terlihat bagus hanya karena model mengingat jawaban, bukan memahami pola. Yang ingin diketahui justru kemampuan generalisasi, yaitu kinerja ketika menghadapi data independen. Validasi silang menciptakan pemisahan itu tanpa perlu mengumpulkan data baru.
Pembagian sederhana, misalnya 70% untuk latih dan 30% untuk uji, sudah membantu, tetapi hasilnya bergantung pada satu pembagian yang kebetulan. Jika data sedikit, menyisihkan 30% terasa boros. Validasi silang menjawab keterbatasan ini dengan beberapa putaran pembagian.
Cara kerja validasi silang k-fold
Salah satu bentuk yang umum dipakai adalah k-fold, dengan alur sebagai berikut.
- Data dibagi menjadi (k) bagian yang ukurannya kurang lebih sama, disebut lipatan.
- Satu lipatan dipakai sebagai data uji, sementara (k-1) lipatan lainnya dipakai melatih model.
- Model dilatih dan diuji, lalu dicatat kesalahan pada lipatan uji.
- Peran bergilir: lipatan lain menjadi data uji pada putaran berikutnya.
- Setelah (k) putaran, kesalahan dari semua putaran dirata-ratakan menjadi satu estimasi kinerja.
Setiap contoh data tepat satu kali menjadi data uji, dan seluruh data tetap terpakai untuk latih pada putaran yang berbeda.
Variasi yang sering dipakai
| Variasi | Ciri khas | Cocok untuk |
|---|---|---|
| Holdout | Satu pembagian latih dan uji | Data besar, pemeriksaan cepat |
| K-fold | (k) lipatan bergiliran | Estimasi kinerja umum |
| K-fold bertingkat | Menjaga proporsi kelas tiap lipatan | Klasifikasi dengan kelas tidak seimbang |
| Leave-one-out | Satu contoh menjadi data uji tiap putaran | Data sangat kecil |
| Validasi silang berseri | Memperhatikan urutan waktu | Data deret waktu |
Pada data deret waktu, pembagian acak biasa dapat membocorkan informasi masa depan, sehingga dipakai bentuk yang melatih periode lebih awal dan menguji periode setelahnya.
Mengapa hasil rata-rata lebih dapat diandalkan
Satu pembagian data bisa menghasilkan angka yang kebetulan tinggi atau rendah karena komposisi contoh tertentu. Dengan mengulang pengujian pada pembagian berbeda dan merata-ratakannya, variabilitas estimasi mengecil. Rata-rata kesalahan memberikan gambaran kinerja yang lebih representatif dibanding satu percobaan tunggal.
Kaitan dengan topik lain
Validasi silang adalah bagian dari evaluasi model machine learning. Hasilnya sering dibaca bersama matriks kebingungan, akurasi, presisi, dan recall. Bila kesalahan data uji jauh lebih besar daripada kesalahan data latih, itu menjadi sinyal overfitting, dan regularisasi atau penyesuaian model bisa dipertimbangkan.
Keuntungan dan keterbatasan
Keuntungan
- Memanfaatkan seluruh data untuk latih sekaligus tetap menguji pada data yang dipisah.
- Estimasi kinerja lebih stabil karena dirata-ratakan dari beberapa putaran.
- Membantu mendeteksi overfitting dan membandingkan beberapa model secara lebih adil.
Keterbatasan
- Biaya komputasi lebih besar karena model dilatih berulang kali.
- Pada data sangat besar, satu pembagian holdout sederhana sering sudah memadai.
- Lipatan yang tidak disusun hati-hati bisa bias pada kelas tidak seimbang atau data berurutan.
Catatan implementasi
- Nilai (k) yang umum dipakai adalah 5 atau 10, tetapi pilihan terbaik tetap bergantung pada ukuran data dan biaya komputasi.
- Pra-pemrosesan seperti penskalaan sebaiknya dipasang di dalam setiap lipatan agar informasi dari data uji tidak ikut masuk saat pelatihan.
- Untuk klasifikasi tidak seimbang, bentuk bertingkat membantu menjaga proporsi kelas pada tiap lipatan.
Pertanyaan yang Sering Diajukan
Apa beda validasi silang dan pembagian holdout?
Holdout membagi data sekali saja, sedangkan validasi silang membuat beberapa putaran dengan data uji bergiliran, lalu merata-ratakan hasilnya untuk estimasi yang lebih stabil.
Berapa nilai k yang sebaiknya dipakai?
Nilai 5 atau 10 cukup umum dipakai. Nilai lebih besar membuat tiap putaran melatih lebih banyak data tetapi menambah biaya komputasi.
Apakah validasi silang menghilangkan overfitting?
Tidak secara langsung. Validasi silang membantu mendeteksi overfitting; penanganannya tetap memerlukan langkah seperti regularisasi, data lebih banyak, atau model yang lebih sederhana.
Mengapa data deret waktu perlu bentuk khusus?
Karena pembagian acak dapat membuat model melatih data masa depan dan menguji masa lalu, yang tidak mencerminkan pemakaian nyata. Validasi berseri menjaga urutan waktu.
Apa itu validasi silang bertingkat?
Bentuk k-fold yang menjaga proporsi kelas pada setiap lipatan, berguna ketika satu kelas jauh lebih jarang muncul daripada kelas lain.
Ringkasan
- Validasi silang memisahkan data latih dan uji secara bergiliran untuk menilai kemampuan generalisasi.
- K-fold membagi data menjadi beberapa lipatan dan merata-ratakan kesalahan dari semua putaran.
- Teknik ini membantu mendeteksi overfitting dan membandingkan model secara lebih adil.
- Data tidak seimbang dan deret waktu memerlukan variasi bentuk validasi yang sesuai.
- Biaya komputasi lebih tinggi adalah trade-off atas estimasi kinerja yang lebih stabil.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free