AI में Token क्या है? शुरुआती गाइड

Updated · By Viviai

Token टेक्स्ट का एक छोटा हिस्सा है जिसे AI मॉडल पढ़ता और लिखता है — अक्सर पूरे शब्द के बजाय शब्द का हिस्सा। Token महत्वपूर्ण है क्योंकि यह तय करता है कि मॉडल एक बार में कितना टेक्स्ट संभाल सकता है और API का खर्च कितना आएगा।

संक्षेप में परिभाषा

Token वह मूल इकाई है जिससे LLM भाषा संसाधित करता है। एक शब्द एक token हो सकता है, लेकिन लंबे शब्द अक्सर कई हिस्सों में बंटते हैं। विराम चिह्न और स्पेस भी गिने जा सकते हैं।

अंग्रेजी का मोटा अनुमान: 100 token लगभग 75 शब्दों के बराबर। सही संख्या भाषा और शब्द चयन पर बदलती है।

मॉडल सीधे शब्दों का उपयोग क्यों नहीं करता

Token में तोड़ना कुशल होता है। unhelpful, unhappy, unusual जैसे शब्द un- उपसर्ग साझा करते हैं। Tokenization से मॉडल साझा हिस्सा पहचानता है और लंबे शब्द, अंक, विराम, कोड तथा भिन्न लिपियां संभालता है।

Token और context window

Context window एक अनुरोध में अधिकतम token संख्या है, जिसमें prompt, पुरानी बातचीत, जोड़े गए दस्तावेज़ और मॉडल का जवाब शामिल हैं।

बातचीत सीमा पार करने पर सबसे पुराना हिस्सा हट जाता है और मॉडल उसे याद नहीं रखता। यही कारण है कि बहुत लंबे दस्तावेज़ पर त्रुटि आती है या मॉडल शुरुआत "भूल जाता है"।

Token और API कीमत

API से AI उपयोग का भुगतान token पर होता है:

Output आमतौर पर महंगा होता है क्योंकि अधिक गणना चाहिए। "प्रति दस लाख token" मूल्य का अर्थ है टेक्स्ट की मात्रा के अनुसार भुगतान, प्रति प्रश्न नहीं।

भाषाओं में token भिन्न

एक ही वाक्य विभिन्न भाषाओं में भिन्न token ले सकता है। कुछ भाषाएं एक विचार के लिए अधिक token खर्च करती हैं, और context window में कम शब्द आते हैं। बहुभाषी परियोजना शब्द गिनती के बजाय token दक्षता देखती है।

अक्सर पूछे जाने वाले सवाल

क्या token एक शब्द होता है? नहीं। यह पूरा शब्द, शब्दांश, विराम या स्पेस हो सकता है।

सीमा पार होने पर क्या होता है? त्रुटि आ सकती है या पुराना हिस्सा कट जाता है। इनपुट छोटा करें या खंडों में बांटें।

Output token महंगे क्यों? नया token बनाने में गणना अधिक होती है, जबकि input एक बार संसाधित होता है।

मुख्य बातें

आगे पढ़ें: हैलुसिनेशन क्या है और प्रभावी prompt कैसे लिखें।

Sources

  1. https://ind.ai/learn

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free