Stemming Adalah Apa? Pengertian dan Bedanya dengan Lemmatisasi

Updated · By Viviai

Stemming adalah proses normalisasi teks yang memotong imbuhan pada kata berimbuhan sehingga menghasilkan bentuk dasar yang disebut stem, misalnya kata "membacakan" dapat menjadi "baca". Stemming memakai aturan tetap dan tidak selalu memeriksa apakah hasilnya kata yang valid, sehingga prosesnya cepat untuk data berukuran besar. Ia biasanya dijalankan setelah tokenisasi di dalam alur pemrosesan bahasa alami (NLP).

Versi sederhananya

Bahasa Indonesia punya banyak imbuhan, sehingga kata "baca" bisa muncul sebagai "membaca", "pembaca", "bacaan", atau "dibaca". Bagi komputer, kata-kata ini terlihat berbeda. Stemming menyatukannya dengan melepas imbuhan, sehingga model memperlakukan kata-kata tersebut sebagai satu konsep yang sama.

Cara kerja stemming

Stemming menerapkan daftar aturan untuk menghapus atau mengubah awalan, sisipan, dan akhiran tanpa harus mencari kata di kamus. Karena berbasis aturan, prosesnya konsisten dan berjalan cepat pada banyak dokumen.

Konsekuensinya, hasil stemming tidak selalu berupa kata yang bermakna. Pada bahasa Inggris, kata "universe" dapat menjadi "univers" yang bukan kata valid. Pada bahasa Indonesia, tantangan utamanya terletak pada imbuhan yang berubah atau menghilang saat digabung dengan kata dasar.

Sastrawi dan algoritma bahasa Indonesia

Sastrawi adalah pustaka sumber terbuka yang banyak dipakai untuk stemming bahasa Indonesia, dengan algoritma yang berbasis Nazief dan Adriani lalu disempurnakan melalui Confix Stripping (CS), Enhanced Confix Stripping (ECS), dan Modified ECS. Pustaka ini memakai kamus kata dasar untuk membantu mencegah overstemming, yaitu pemotongan yang terlalu agresif sehingga kata yang berbeda menjadi satu.

Contoh yang diberikan pustaka ini:

Perbedaan stemming dan lemmatisasi

Lemmatisasi juga mengembalikan kata ke bentuk dasar, tetapi ia memeriksa kamus dan konteks tata bahasa untuk menghasilkan kata yang valid, yang disebut lemma.

Faktor Stemming Lemmatisasi
Metode Aturan pemotongan imbuhan Pencarian kamus dan morfologi
Hasil Bisa bukan kata valid Berupa kata yang bermakna
Kesadaran konteks Rendah Memakai kelas kata dan konteks
Kecepatan Umumnya lebih cepat Umumnya lebih lambat
Sumber daya Kumpulan aturan Kamus dan basis leksikal
Kegunaan Indeks pencarian, data besar Tugas yang sensitif makna

Pada kata beraturan, keduanya sering memberi hasil yang mirip. Perbedaannya terlihat pada kata tidak beraturan, misalnya pada bahasa Inggris kata "better" tidak dapat diubah oleh aturan sederhana, sedangkan lemmatisasi dapat mengembalikannya ke "good".

Contoh pada kata yang sama

Kata awal Hasil stemming Hasil lemmatisasi
studies studi study
playing play play
caring care care
mice mice mouse
better better good

Kapan masing-masing dipakai

Pemilihan metode bergantung pada tugas dan volume data.

  1. Mesin pencari dan sistem temu kembali informasi sering memakai stemming karena kecepatan penting pada banyak dokumen, dan penyatuan kata dapat meningkatkan jumlah dokumen yang ditemukan.
  2. Chatbot, analisis sentimen, dan penerjemahan lebih diuntungkan oleh lemmatisasi karena bentuk dasar yang salah dapat mengubah makna.
  3. Korpora besar dengan waktu terbatas dapat memakai stemming lebih dulu, lalu menambahkan lemmatisasi hanya pada bagian yang membutuhkan ketelitian.

Keterkaitan dengan konsep NLP lain

Stemming berada di antara tokenisasi, yang memecah teks menjadi satuan, dan embedding yang merepresentasikan kata menjadi angka. Penyatuan bentuk kata sebelum pelatihan membantu model memperlakukan kata berimbuhan sebagai satu konsep. Bidang dan istilah yang lebih luas dibahas pada ringkasan pemrosesan bahasa alami, dan konsep dasar model dijelaskan pada apa itu machine learning.

FAQ

Apakah hasil stemming selalu berupa kata yang ada di kamus?

Tidak. Stemming memakai aturan, bukan kamus, sehingga hasilnya bisa berupa potongan kata yang bukan kata valid. Lemmatisasi adalah metode yang mengembalikan kata bermakna.

Apa itu Sastrawi?

Sastrawi adalah pustaka stemming sumber terbuka untuk bahasa Indonesia yang memakai algoritma Nazief dan Adriani beserta penyempurnaannya, dan cukup populer digunakan untuk pengolahan teks.

Mana yang lebih cepat, stemming atau lemmatisasi?

Stemming umumnya lebih cepat karena hanya menerapkan aturan tanpa pencarian kamus atau analisis kelas kata. Lemmatisasi melakukan lebih banyak pekerjaan linguistik.

Apa itu overstemming dan understemming?

Overstemming terjadi ketika kata yang berbeda terlalu agresif dipotong menjadi satu, sedangkan understemming terjadi ketika kata yang seharusnya disatukan justru tidak tergabung.

Apakah model bahasa besar masih memakai stemming?

Model bahasa besar lebih mengandalkan tokenisasi subkata dan embedding, tetapi stemming masih dipakai pada sistem pencarian dan perangkat NLP tradisional yang membutuhkan bentuk dasar yang cepat dan dapat dijelaskan.

Poin utama

Lanjutkan membaca pemrosesan bahasa alami dan apa itu token.

Sources

  1. https://ruang-guru.github.io/ai-bootcamp-interactive/docs/llm-nlp/01-preprocessing.html
  2. https://petpalpersonal.com/blog/sastrawi-stemming-simplifying-indonesian-text
  3. https://github.com/sastrawi/sastrawi
  4. https://www.ibm.com/think/topics/stemming-lemmatization

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free