ट्रांसफॉर्मर क्या है? AI मॉडल की संरचना की आसान व्याख्या

Updated · By Viviai

ट्रांसफॉर्मर (transformer) एक तंत्रिका नेटवर्क संरचना है जो अनुक्रम के सभी भागों को एक साथ संसाधित करती है और अटेंशन (attention) के ज़रिए तय करती है कि कौन-सा शब्द किससे कितना संबंध रखता है। इसे 2017 में "Attention Is All You Need" शोध पत्र में प्रस्तुत किया गया था। आज के अधिकांश बड़े भाषा मॉडल इसी संरचना पर आधारित हैं।

अगर आपने LSTM पढ़ा है, तो ट्रांसफॉर्मर को एक ऐसा विकल्प समझें जो डेटा को एक-एक चरण में पढ़ने के बजाय पूरे वाक्य को एक साथ देखता है, जिससे लंबे संदर्भ और तेज़ प्रशिक्षण संभव होता है।

ट्रांसफॉर्मर किस समस्या को हल करता है?

इससे पहले भाषा के कामों में आवर्ती नेटवर्क (RNN, LSTM) प्रचलित थे। वे वाक्य को क्रम से एक शब्द पढ़ते थे, और हर चरण अगले चरण पर निर्भर था। इस क्रमिक प्रकृति के दो परिणाम थे: दूर के शब्दों के बीच संबंध जोड़ना कठिन था, और प्रशिक्षण को समानांतर करना मुश्किल था।

ट्रांसफॉर्मर अटेंशन को केंद्र में रखकर इन दोनों बाधाओं को हटाता है। कोई भी स्थिति सीधे किसी भी अन्य स्थिति से जुड़ सकती है, चाहे उनके बीच कितने ही शब्द हों, और सभी स्थितियों की गणना एक साथ की जा सकती है।

मुख्य विचार: अटेंशन से संदर्भ बनाना

अटेंशन किसी एक स्थिति के लिए हर इनपुट को एक प्रासंगिकता अंक देता है, उन अंकों को ऐसे भारों में बदलता है जिनका योग एक होता है, और फिर उन भारों से इनपुट को जोड़ता है। अधिक भार वाला शब्द अर्थ पर अधिक असर डालता है।

उदाहरण के लिए वाक्य "जानवर सड़क पार नहीं कर पाया क्योंकि वह बहुत थका हुआ था" में "वह" शब्द पर अटेंशन को "सड़क" की तुलना में "जानवर" पर अधिक भार देना चाहिए। इस तरह के संदर्भ संबंध ही अटेंशन की खासियत हैं।

क्वेरी, कुंजी और मूल्य

तंत्र को समझाने के लिए हर इनपुट को तीन वेक्टर से दर्शाया जाता है।

क्वेरी की हर कुंजी से तुलना संगतता अंक बनाती है, जो भार बन जाते हैं, और उन भारों को मूल्यों पर लगाकर आउटपुट तैयार होता है।

स्व-अटेंशन की गणना कैसे होती है?

स्केल किए गए डॉट-प्रॉडक्ट रूप में गणना चार चरणों में होती है।

  1. क्वेरी और हर कुंजी के बीच डॉट-प्रॉडक्ट से समान अंक बनता है, जिसे कुंजी आयाम के वर्गमूल से भाग देकर स्थिर रखा जाता है।
  2. सभी अंक सॉफ्टमैक्स से गुज़रकर ऐसे भार बनते हैं जिनका योग एक होता है।
  3. हर मूल्य को उसके भार से गुणा किया जाता है।
  4. भारित मूल्यों को जोड़कर वर्तमान स्थिति का आउटपुट बनता है।

संक्षेप में इसे इस तरह लिखते हैं:

[ \text{Attention}(Q,K,V)=\text{softmax}\left(\frac{QK^{T}}{\sqrt{d_k}}\right)V ]

मल्टी-हेड अटेंशन

क्वेरी, कुंजी और मूल्य का एक समूह एक अटेंशन हेड बनाता है। ट्रांसफॉर्मर कई हेड समानांतर चलाता है, और हर हेड के अपने सीखे हुए प्रोजेक्शन होते हैं। एक हेड सर्वनाम का संदर्भ पकड़ सकता है, तो दूसरा विशेषण और संज्ञा के जुड़ाव पर ध्यान दे सकता है।

सभी हेड के आउटपुट जोड़े जाते हैं और एक अंतिम रेखीय परत से गुज़रते हैं। हेड बढ़ने से परत उन विविध पैटर्न को सीख सकती है जो एक ही हेड से चूक सकते हैं।

स्थिति एन्कोडिंग क्यों ज़रूरी है?

अटेंशन अपने आप में क्रम के प्रति संवेदनशील नहीं होता। इनपुट को फेर दिया जाए तो भारित योग लगभग वही रहता है, क्योंकि तंत्र केवल भारित संयोजन देखता है। भाषा में शब्द क्रम का अर्थ होता है, इसलिए ट्रांसफॉर्मर इनपुट में स्थिति एन्कोडिंग जोड़ता है।

यह एन्कोडिंग मॉडल को बताती है कि कोई शब्द वाक्य में किस स्थान पर है। एम्बेडिंग के साथ स्थिति की जानकारी मिलने पर ही मॉडल क्रम को ध्यान में रखकर अर्थ बना पाता है।

ट्रांसफॉर्मर बनाम RNN/LSTM

पहलू ट्रांसफॉर्मर RNN/LSTM
पढ़ने का तरीका सभी स्थिति एक साथ एक के बाद एक क्रम से
दूर का संबंध एक ही चरण में सीधा हर चरण से होकर गुज़रता है
समानांतर प्रशिक्षण संभव सीमित
क्रम की जानकारी स्थिति एन्कोडिंग से क्रम में अंतर्निहित
लंबे अनुक्रम की लागत द्विघात रूप से बढ़ती है रेखीय रूप से बढ़ती है

सीमाएँ

मुख्य चुनौती जटिलता है। चूँकि हर स्थिति हर दूसरी स्थिति पर अटेंशन देती है, गणना और मेमोरी अनुक्रम लंबाई के वर्ग के साथ बढ़ते हैं। बहुत लंबे अनुक्रम महँगे पड़ते हैं। इस पर विरल अटेंशन और रेखीय अटेंशन जैसे विकल्पों पर काम जारी है। ट्रांसफॉर्मर ब्लॉक को पूरा करने के लिए फ़ीड-फ़ॉरवर्ड परतों और परत सामान्यीकरण की भी ज़रूरत होती है।

अक्सर पूछे जाने वाले सवाल

ट्रांसफॉर्मर को आसान शब्दों में क्या कहें? यह एक ऐसी नेटवर्क संरचना है जो पूरे वाक्य को एक साथ पढ़ती है और अटेंशन से तय करती है कि कौन-से शब्द एक-दूसरे के लिए ज़रूरी हैं।

स्व-अटेंशन क्या है? वह स्थिति जब अनुक्रम के क्वेरी, कुंजी और मूल्य उसी अनुक्रम से आते हैं, यानी वाक्य के शब्द आपस में ही एक-दूसरे पर ध्यान देते हैं।

ट्रांसफॉर्मर और LLM में क्या अंतर है? ट्रांसफॉर्मर एक संरचना है, जबकि LLM एक बड़ा प्रशिक्षित मॉडल है जो आमतौर पर इसी संरचना का उपयोग करता है। हर ट्रांसफॉर्मर LLM नहीं होता।

क्या ट्रांसफॉर्मर ने RNN की जगह ले ली? कई भाषा कामों में ट्रांसफॉर्मर मुख्य विकल्प बन गया है, लेकिन RNN/LSTM अब भी उपयोग में हैं, खासकर वहाँ जहाँ अटेंशन की द्विघात लागत महँगी पड़ती है।

अगला कदम

ट्रांसफॉर्मर के आसपास की अवधारणाएँ समझने के लिए आवर्ती तंत्रिका नेटवर्क और तंत्रिका नेटवर्क पढ़ें, फिर कन्वोल्यूशनल नेटवर्क से तुलना करें।

संपादकीय टिप्पणी: इस लेख की अब दो स्वतंत्र स्रोतों (मूल स्रोत और IBM Think अंग्रेज़ी संस्करण) से क्रॉस-जाँच हो चुकी है, इसलिए दो-स्रोत मानदंड पूरा हो गया है। मातृभाषा समीक्षा अभी भी लंबित है, जिसके बाद ही स्थिति औपचारिक की जाएगी।

Sources

  1. https://www.datacamp.com/hi/tutorial/how-transformers-work
  2. https://www.ibm.com/think/topics/transformer-model

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free