Tokenisasi adalah Apa? Cara AI Membagi Teks Menjadi Token

Updated · By Viviai

Tokenisasi adalah proses membagi teks — berupa kalimat, paragraf, atau dokumen — menjadi satuan kecil yang disebut token. Inilah langkah pertama yang dijalankan sebelum model AI membaca teks, karena model tidak langsung memahami huruf mentah, melainkan rangkaian token yang sudah dipetakan ke angka.

Apa Itu Tokenisasi

Saat Anda mengetik kalimat, komputer melihat deretan karakter tanpa tahu di mana satu kata berhenti. Tokenisasi menentukan batas tiap satuan. Sebagai contoh sederhana, kalimat "Aku baru saja makan bakso pedas" dapat menghasilkan enam token: "Aku", "baru", "saja", "makan", "bakso", dan "pedas".

Pembatas yang umum dipakai adalah spasi dan tanda baca. Hasil tokenisasi lalu dipakai untuk analisis teks lebih lanjut, seperti analisis sentimen, penerjemahan, dan ringkasan otomatis.

Mengapa Tokenisasi Diperlukan

Model bahasa bekerja dengan angka, bukan huruf. Tokenisasi menjembatani teks manusia dan bentuk yang bisa dihitung mesin. Tanpa langkah ini, model tidak memiliki satuan yang konsisten untuk mengenali pola.

Tokenisasi juga membantu menangani kata yang jarang atau belum pernah dilihat, menjaga ukuran kosakata tetap terkendali, dan membuat pemrosesan lebih efisien.

Cara Kerja Tokenisasi

  1. Teks mentah dibagi pada batas seperti spasi, biasanya sambil menangani tanda baca.
  2. Kata yang panjang atau jarang dipecah menjadi subkata bila model memakai metode subkata.
  3. Setiap token dicocokkan dengan kosakata yang sudah ditetapkan, lalu dipetakan menjadi pengenal unik berupa angka.
  4. Rangkaian angka inilah yang diproses model.
  5. Saat menghasilkan jawaban, angka diubah kembali menjadi token lalu dirangkai menjadi teks (decoding).

Satu kata bisa menjadi satu token, tetapi kata panjang sering dipecah menjadi beberapa bagian. Tanda baca dan spasi juga dapat dihitung sebagai token.

Tiga Pendekatan Umum

Pendekatan Cara membagi Kelebihan Keterbatasan
Berbasis kata Pada spasi dan tanda baca Mudah dipahami Kosakata besar; kata baru bisa jadi token tak dikenal
Berbasis karakter Per huruf Hampir tidak ada kata tak dikenal Urutan menjadi sangat panjang
Subkata Kata umum utuh, kata jarang dipecah Seimbang dan efisien Aturan pemecahan perlu dipelajari

Token tak dikenal

Pada metode berbasis kata, kata yang tidak ada di kosakata menjadi token khusus yang menandakan model tidak mengenalinya, sering ditulis sebagai token "tak dikenal". Subkata mengatasi masalah ini karena kata baru tetap bisa disusun dari bagian-bagian yang sudah dikenal.

Metode Subkata yang Sering Dipakai

Sebagai gambaran, kata "unhappiness" dapat dipecah menjadi bagian seperti "un", "happy", dan "ness", dengan penanda yang menunjukkan bagian kedua dan ketiga menempel pada bagian sebelumnya.

Tokenisasi dan Bahasa Indonesia

Setiap model memiliki tokenizer dan kosakata sendiri, sehingga kalimat yang sama bisa menghasilkan jumlah token berbeda antar model. Bahasa dengan banyak imbuhan, seperti bahasa Indonesia dengan awalan dan akhiran, dapat diperlakukan berbeda tergantung cara tokenizer dilatih.

Karena jumlah token memengaruhi biaya API dan batas jendela konteks, proyek multibahasa memantau efisiensi token, bukan sekadar jumlah kata. Topik ini berkaitan erat dengan satuan token dan cara kerja model bahasa.

Hubungan dengan Konsep Lain

FAQ

Tokenisasi Itu Gunanya Apa?

Mengubah teks menjadi token yang bisa dipetakan ke angka, sehingga model bahasa dapat membaca, memproses, dan menghasilkan kembali teks.

Apa Bedanya Tokenisasi dan Token?

Tokenisasi adalah proses membagi teks, sedangkan token adalah satuan kecil hasil pembagian tersebut.

Apa Itu Kata di Luar Kosakata?

Kata yang tidak terdaftar pada kosakata model. Metode subkata membantu menyusun kata semacam itu dari bagian-bagian yang sudah dikenal.

Mengapa Tidak Cukup Membagi pada Spasi?

Pembagian pada spasi kesulitan menangani kata baru, tanda baca, dan bahasa dengan sistem tulisan berbeda. Subkata memberi jalan tengah yang lebih luwes.

Apakah Semua Model Memakai Cara yang Sama?

Bukan. Tiap model punya tokenizer dan kosakata sendiri, dengan metode seperti BPE, WordPiece, atau SentencePiece.

Ringkasan

Sources

  1. https://id.wikipedia.org/wiki/Tokenisasi
  2. https://developer.ibm.com/articles/awb-token-optimization-backbone-of-effective-prompt-engineering/

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free