Tokenization क्या है? NLP में टोकनाइज़ेशन की सरल व्याख्या

Updated · By Viviai

टोकनाइज़ेशन (tokenization) NLP का वह पहला चरण है जो किसी text को छोटी इकाइयों में तोड़ता है, जिन्हें टोकन (token) कहते हैं; ये टोकन शब्द, शब्द के हिस्से या एक अक्षर हो सकते हैं। इसके बाद हर टोकन को एक निश्चित शब्दकोश (vocabulary) से एक संख्यात्मक पहचान मिलती है, जिससे मॉडल text के बजाय संख्याओं पर काम कर पाता है।

आसान शब्दों में

किसी बच्चे को पढ़ना सिखाते समय हम पहले अक्षर, फिर शब्द और अंत में वाक्य सिखाते हैं। कंप्यूटर के साथ भी कुछ ऐसा ही होता है: लंबा text सीधे समझने के बजाय मशीन उसे टोकन में बाँटती है और फिर इन टोकन के पैटर्न पहचानती है।

मॉडल को टोकनाइज़ेशन की ज़रूरत क्यों है

न्यूरल नेटवर्क सीधे अक्षर नहीं पढ़ सकता। उसे पहचान संख्याओं की एक श्रृंखला चाहिए, जिनमें से हर संख्या एक सीखे हुए vector की ओर इशारा करती है।

  1. Text को निश्चित नियमों से टोकन में बाँटा जाता है।
  2. हर टोकन को training के दौरान बने vocabulary से मिलाया जाता है।
  3. मिले हर टोकन को एक पूर्णांक ID और फिर embedding में बदला जाता है।
  4. मॉडल उस क्रम पर काम करता है और output ID को वापस text में बदलता है।

टोकन के प्रकार

प्रकार "unhappiness" पर उदाहरण खासियत सीमा
Word unhappiness (एक टोकन) पढ़ने में आसान, कम टोकन नया या गलत वर्तनी वाला शब्द vocabulary से बाहर
Character u, n, h, a, p... किसी भी वर्तनी को संभालता है बहुत लंबी श्रृंखला, कम अर्थ
Subword un + happiness नए शब्द संभालते हुए अर्थ बनाए रखता है प्रशिक्षित नियम चाहिए

आज के बड़े भाषा मॉडल आमतौर पर subword टोकन का उपयोग करते हैं, जो किसी अपरिचित शब्द को उन हिस्सों में तोड़ देते हैं जिन्हें मॉडल पहले से जानता है।

Subword की सामान्य विधियाँ

Byte-Pair Encoding (BPE)

BPE अक्षरों से शुरू करती है और बार-बार सबसे आम आसन्न जोड़े को जोड़ती है जब तक vocabulary एक तय आकार तक नहीं पहुँच जाती। यह सरल और कारगर होने के कारण काफी प्रचलित है।

WordPiece और SentencePiece

WordPiece जोड़े चुनते समय इस बात को देखती है कि वे मॉडल की संभाव्यता कितनी बेहतर बनाते हैं। SentencePiece text को एक कच्चे अनुक्रम की तरह मानता है, जो उन भाषाओं के लिए व्यावहारिक है जहाँ शब्दों के बीच स्पष्ट रिक्त स्थान नहीं होता।

हिंदी और भारतीय भाषाओं की चुनौतियाँ

हिंदी में शब्द टोकनाइज़ेशन मुख्य रूप से रिक्त स्थान पर आधारित होता है, लेकिन विराम चिह्न और जटिल टोकन इसे विशेष बनाते हैं। वाक्य की सीमा के लिए अंग्रेज़ी के बिंदु के साथ-साथ दंड (।) चिह्न भी प्रयोग होता है। हाल के शोध जैसे MorphTok भारतीय भाषाओं के लिए morphology पर आधारित टोकनाइज़ेशन बनाते हैं, ताकि समान अर्थ वाले शब्द बेहतर ढंग से बँटें।

एक ठोस उदाहरण

वाक्य "Chatbots are helpful." को एक सरल word tokenizer यूँ तोड़ सकता है:

["Chatbots", "are", "helpful", "."]

विराम चिह्न को अलग टोकन रखा जाता है क्योंकि वह अर्थ देता है, और बड़े अक्षर आमतौर पर बने रहते हैं ताकि विशेष नाम पहचाने जा सकें। दो मॉडल एक ही वाक्य को अलग तरह से टोकनाइज़ कर सकते हैं।

अन्य NLP अवधारणाओं से संबंध

यहाँ बने टोकन वही AI टोकन हैं जिन्हें इनपुट लंबाई और बिलिंग में गिना जाता है, और हर टोकन एक embedding में बदलता है। यह पूरी प्रक्रिया NLP के अंतर्गत आती है और मशीन लर्निंग मॉडल का पहला चरण है।

अक्सर पूछे जाने वाले सवाल

क्या टोकन और शब्द एक ही होते हैं?

नहीं। टोकन पूरा शब्द, शब्द का हिस्सा या एक अक्षर हो सकता है। आम शब्द अक्सर एक टोकन होता है, जबकि लंबे शब्द कई टोकन में बँटते हैं।

टोकनाइज़ेशन का खर्च पर क्या असर होता है?

मॉडल टोकन के हिसाब से बिलिंग करते हैं। अगर किसी भाषा को बहुत छोटे टोकन में बाँटा जाता है, तो एक ही वाक्य ज़्यादा टोकन लेता है और context window जल्दी भरता है।

क्या यह क्रिप्टो वाले tokenization से अलग है?

हाँ। NLP का tokenization text को भाषाई इकाइयों में बाँटता है, जबकि ब्लॉकचेन का tokenization संपत्ति को डिजिटल टोकन में दर्शाने से जुड़ा एक अलग क्षेत्र है।

क्या टोकनाइज़र अर्थ समझता है?

टोकनाइज़र स्वयं सांख्यिकीय नियमों पर चलता है और अर्थ की व्याख्या नहीं करता; अर्थ बाद में embedding और मॉडल की परतें संभालती हैं।

मुख्य बातें

आगे पढ़ें NLP क्या है और AI टोकन क्या है।

Sources

  1. https://www.datacamp.com/hi/blog/what-is-tokenization
  2. https://arxiv.org/pdf/2102.00214
  3. https://arxiv.org/pdf/2504.10335

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free