Apa Itu Token di AI? Penjelasan untuk Pemula

Updated · By Viviai

Token adalah potongan kecil teks yang dibaca dan ditulis model AI — sering berupa bagian dari kata, bukan kata utuh. Token penting karena menentukan berapa banyak teks yang bisa ditangani model sekaligus dan berapa biaya memakai API.

Definisi singkat

Token adalah satuan dasar yang dipakai LLM memproses bahasa. Satu kata bisa menjadi satu token, tetapi kata panjang sering dipecah menjadi beberapa bagian. Tanda baca dan spasi juga bisa dihitung.

Patokan kasar untuk bahasa Inggris: 100 token setara sekitar 75 kata. Angka pastinya berbeda menurut bahasa dan pilihan kata.

Mengapa model tidak langsung memakai kata

Pemecahan menjadi token itu efisien. Kata seperti unhelpful, unhappy, unusual berbagi awalan un-. Tokenisasi membuat model mengenali potongan bersama itu, dan membantu menangani kata panjang, angka, tanda baca, kode, serta bahasa dengan sistem tulisan berbeda.

Token dan jendela konteks

Jendela konteks adalah jumlah token maksimum yang bisa dipertimbangkan dalam satu permintaan, termasuk prompt, percakapan lampau, dokumen yang ditempel, dan balasan model.

Jika percakapan melewati jendela, konten terlama terbuang dan model tidak lagi mengacu padanya. Itulah sebabnya dokumen sangat panjang kadang memicu error atau model "lupa" bagian awal.

Token dan harga API

Saat membayar pemakaian AI lewat API, harga dihitung per token:

Output biasanya lebih mahal karena butuh komputasi lebih besar. Harga "per juta token" berarti membayar menurut volume teks, bukan per pertanyaan.

Token berbeda antar bahasa

Kalimat yang sama bisa memakai jumlah token berbeda di tiap bahasa. Akibatnya, sebagian bahasa lebih mahal per ide, dan jendela konteks yang menampung banyak kata Inggris bisa menampung lebih sedikit kata di bahasa lain. Proyek multibahasa memantau efisiensi token, bukan sekadar jumlah kata.

Pertanyaan yang sering muncul

Apakah token sama dengan kata? Bukan. Token bisa berupa kata utuh, bagian kata, tanda baca, atau spasi.

Apa yang terjadi jika melewati jendela konteks? Anda mungkin mendapat error atau konten lama terpotong. Solusinya memperpendek input atau memprosesnya per bagian.

Mengapa token output lebih mahal? Membuat setiap token baru butuh komputasi, sedangkan input hanya diproses sekali.

Poin utama

Lanjutkan dengan penjelasan apa itu halusinasi dan cara menulis prompt yang efektif.

Sources

  1. http://microsoft.github.io/ai-agents-for-beginners/translations/id/01-intro-to-ai-agents/

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free