Stemming Adalah Apa? Pengertian dan Bedanya dengan Lemmatisasi
Stemming adalah proses normalisasi teks yang memotong imbuhan pada kata berimbuhan sehingga menghasilkan bentuk dasar yang disebut stem, misalnya kata "membacakan" dapat menjadi "baca". Stemming memakai aturan tetap dan tidak selalu memeriksa apakah hasilnya kata yang valid, sehingga prosesnya cepat untuk data berukuran besar. Ia biasanya dijalankan setelah tokenisasi di dalam alur pemrosesan bahasa alami (NLP).
Versi sederhananya
Bahasa Indonesia punya banyak imbuhan, sehingga kata "baca" bisa muncul sebagai "membaca", "pembaca", "bacaan", atau "dibaca". Bagi komputer, kata-kata ini terlihat berbeda. Stemming menyatukannya dengan melepas imbuhan, sehingga model memperlakukan kata-kata tersebut sebagai satu konsep yang sama.
Cara kerja stemming
Stemming menerapkan daftar aturan untuk menghapus atau mengubah awalan, sisipan, dan akhiran tanpa harus mencari kata di kamus. Karena berbasis aturan, prosesnya konsisten dan berjalan cepat pada banyak dokumen.
Konsekuensinya, hasil stemming tidak selalu berupa kata yang bermakna. Pada bahasa Inggris, kata "universe" dapat menjadi "univers" yang bukan kata valid. Pada bahasa Indonesia, tantangan utamanya terletak pada imbuhan yang berubah atau menghilang saat digabung dengan kata dasar.
Sastrawi dan algoritma bahasa Indonesia
Sastrawi adalah pustaka sumber terbuka yang banyak dipakai untuk stemming bahasa Indonesia, dengan algoritma yang berbasis Nazief dan Adriani lalu disempurnakan melalui Confix Stripping (CS), Enhanced Confix Stripping (ECS), dan Modified ECS. Pustaka ini memakai kamus kata dasar untuk membantu mencegah overstemming, yaitu pemotongan yang terlalu agresif sehingga kata yang berbeda menjadi satu.
Contoh yang diberikan pustaka ini:
- menahan menjadi tahan
- berbalas-balasan menjadi balas
- buku-buku menjadi buku
Perbedaan stemming dan lemmatisasi
Lemmatisasi juga mengembalikan kata ke bentuk dasar, tetapi ia memeriksa kamus dan konteks tata bahasa untuk menghasilkan kata yang valid, yang disebut lemma.
| Faktor | Stemming | Lemmatisasi |
|---|---|---|
| Metode | Aturan pemotongan imbuhan | Pencarian kamus dan morfologi |
| Hasil | Bisa bukan kata valid | Berupa kata yang bermakna |
| Kesadaran konteks | Rendah | Memakai kelas kata dan konteks |
| Kecepatan | Umumnya lebih cepat | Umumnya lebih lambat |
| Sumber daya | Kumpulan aturan | Kamus dan basis leksikal |
| Kegunaan | Indeks pencarian, data besar | Tugas yang sensitif makna |
Pada kata beraturan, keduanya sering memberi hasil yang mirip. Perbedaannya terlihat pada kata tidak beraturan, misalnya pada bahasa Inggris kata "better" tidak dapat diubah oleh aturan sederhana, sedangkan lemmatisasi dapat mengembalikannya ke "good".
Contoh pada kata yang sama
| Kata awal | Hasil stemming | Hasil lemmatisasi |
|---|---|---|
| studies | studi | study |
| playing | play | play |
| caring | care | care |
| mice | mice | mouse |
| better | better | good |
Kapan masing-masing dipakai
Pemilihan metode bergantung pada tugas dan volume data.
- Mesin pencari dan sistem temu kembali informasi sering memakai stemming karena kecepatan penting pada banyak dokumen, dan penyatuan kata dapat meningkatkan jumlah dokumen yang ditemukan.
- Chatbot, analisis sentimen, dan penerjemahan lebih diuntungkan oleh lemmatisasi karena bentuk dasar yang salah dapat mengubah makna.
- Korpora besar dengan waktu terbatas dapat memakai stemming lebih dulu, lalu menambahkan lemmatisasi hanya pada bagian yang membutuhkan ketelitian.
Keterkaitan dengan konsep NLP lain
Stemming berada di antara tokenisasi, yang memecah teks menjadi satuan, dan embedding yang merepresentasikan kata menjadi angka. Penyatuan bentuk kata sebelum pelatihan membantu model memperlakukan kata berimbuhan sebagai satu konsep. Bidang dan istilah yang lebih luas dibahas pada ringkasan pemrosesan bahasa alami, dan konsep dasar model dijelaskan pada apa itu machine learning.
FAQ
Apakah hasil stemming selalu berupa kata yang ada di kamus?
Tidak. Stemming memakai aturan, bukan kamus, sehingga hasilnya bisa berupa potongan kata yang bukan kata valid. Lemmatisasi adalah metode yang mengembalikan kata bermakna.
Apa itu Sastrawi?
Sastrawi adalah pustaka stemming sumber terbuka untuk bahasa Indonesia yang memakai algoritma Nazief dan Adriani beserta penyempurnaannya, dan cukup populer digunakan untuk pengolahan teks.
Mana yang lebih cepat, stemming atau lemmatisasi?
Stemming umumnya lebih cepat karena hanya menerapkan aturan tanpa pencarian kamus atau analisis kelas kata. Lemmatisasi melakukan lebih banyak pekerjaan linguistik.
Apa itu overstemming dan understemming?
Overstemming terjadi ketika kata yang berbeda terlalu agresif dipotong menjadi satu, sedangkan understemming terjadi ketika kata yang seharusnya disatukan justru tidak tergabung.
Apakah model bahasa besar masih memakai stemming?
Model bahasa besar lebih mengandalkan tokenisasi subkata dan embedding, tetapi stemming masih dipakai pada sistem pencarian dan perangkat NLP tradisional yang membutuhkan bentuk dasar yang cepat dan dapat dijelaskan.
Poin utama
- Stemming memotong imbuhan dengan aturan tetap untuk menghasilkan stem.
- Lemmatisasi mengembalikan kata kamus yang valid dengan memeriksa konteks.
- Sastrawi menjadi pustaka umum untuk stemming bahasa Indonesia.
- Pilih stemming untuk kecepatan dan lemmatisasi ketika makna sangat penting.
Lanjutkan membaca pemrosesan bahasa alami dan apa itu token.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free