Apa Itu Token di AI? Penjelasan untuk Pemula
Token adalah potongan kecil teks yang dibaca dan ditulis model AI — sering berupa bagian dari kata, bukan kata utuh. Token penting karena menentukan berapa banyak teks yang bisa ditangani model sekaligus dan berapa biaya memakai API.
Definisi singkat
Token adalah satuan dasar yang dipakai LLM memproses bahasa. Satu kata bisa menjadi satu token, tetapi kata panjang sering dipecah menjadi beberapa bagian. Tanda baca dan spasi juga bisa dihitung.
Patokan kasar untuk bahasa Inggris: 100 token setara sekitar 75 kata. Angka pastinya berbeda menurut bahasa dan pilihan kata.
Mengapa model tidak langsung memakai kata
Pemecahan menjadi token itu efisien. Kata seperti unhelpful, unhappy, unusual berbagi awalan un-. Tokenisasi membuat model mengenali potongan bersama itu, dan membantu menangani kata panjang, angka, tanda baca, kode, serta bahasa dengan sistem tulisan berbeda.
Token dan jendela konteks
Jendela konteks adalah jumlah token maksimum yang bisa dipertimbangkan dalam satu permintaan, termasuk prompt, percakapan lampau, dokumen yang ditempel, dan balasan model.
Jika percakapan melewati jendela, konten terlama terbuang dan model tidak lagi mengacu padanya. Itulah sebabnya dokumen sangat panjang kadang memicu error atau model "lupa" bagian awal.
Token dan harga API
Saat membayar pemakaian AI lewat API, harga dihitung per token:
- Token input — teks yang Anda kirim.
- Token output — teks yang dihasilkan model.
Output biasanya lebih mahal karena butuh komputasi lebih besar. Harga "per juta token" berarti membayar menurut volume teks, bukan per pertanyaan.
Token berbeda antar bahasa
Kalimat yang sama bisa memakai jumlah token berbeda di tiap bahasa. Akibatnya, sebagian bahasa lebih mahal per ide, dan jendela konteks yang menampung banyak kata Inggris bisa menampung lebih sedikit kata di bahasa lain. Proyek multibahasa memantau efisiensi token, bukan sekadar jumlah kata.
Pertanyaan yang sering muncul
Apakah token sama dengan kata? Bukan. Token bisa berupa kata utuh, bagian kata, tanda baca, atau spasi.
Apa yang terjadi jika melewati jendela konteks? Anda mungkin mendapat error atau konten lama terpotong. Solusinya memperpendek input atau memprosesnya per bagian.
Mengapa token output lebih mahal? Membuat setiap token baru butuh komputasi, sedangkan input hanya diproses sekali.
Poin utama
- Token adalah satuan teks terkecil yang diproses AI, sering berupa bagian kata.
- Jendela konteks dan harga API sama-sama diukur per token.
- Jumlah token berbeda antar bahasa, memengaruhi biaya dan batas.
Lanjutkan dengan penjelasan apa itu halusinasi dan cara menulis prompt yang efektif.
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free