रिकरेंट न्यूरल नेटवर्क (RNN) क्या है? कार्यप्रणाली और उदाहरण

Updated · By Viviai

रिकरेंट न्यूरल नेटवर्क (Recurrent Neural Network, संक्षेप में RNN) एक ऐसा न्यूरल नेटवर्क आर्किटेक्चर है जो क्रमिक डेटा (जैसे पाठ, वाणी और समय श्रृंखला) के लिए बनाया गया है। इसकी मुख्य विशेषता यह है कि RNN एक हिडन स्टेट (hidden state) बनाए रखता है, जो एक समय चरण से अगले चरण तक जाती है; इस तरह मॉडल प्रत्येक इनपुट को अलग-थलग संसाधित करने के बजाय पिछली जानकारी को "याद" रख सकता है।

संक्षिप्त उत्तर: RNN कैसे काम करता है

सामान्य न्यूरल नेटवर्क हर इनपुट को स्वतंत्र मानता है और संदर्भ संग्रहीत नहीं करता। RNN में एक लूप जोड़ा जाता है: हर चरण पर मॉडल वर्तमान इनपुट के साथ पिछले चरण की हिडन स्टेट भी लेता है, फिर एक नई हिडन स्टेट बनाकर उसे आगे भेजता है।

सरल रूप में गणना इस प्रकार है:

यहाँ (x_t) चरण (t) का इनपुट है, (h_{t-1}) पिछली हिडन स्टेट है, और भार मैट्रिक्स (W_x, W_h, W_y) सभी समय चरणों में साझा किए जाते हैं, हर चरण के लिए अलग सेट नहीं बनते।

RNN के मुख्य घटक

प्रत्येक समय चरण की प्रक्रिया

  1. चरण (t) पर मॉडल इनपुट (x_t) और हिडन स्टेट (h_{t-1}) प्राप्त करता है।
  2. दोनों को मिलाकर tanh फलन से नई हिडन स्टेट (h_t) बनती है।
  3. (h_t) से आउटपुट (y_t) की गणना होती है।
  4. (h_t) अगले चरण (t+1) को भी जाती है, और अनुक्रम समाप्त होने तक प्रक्रिया दोहराती है।

चूंकि एक ही भार पूरे अनुक्रम में साझा होता है, पैरामीटर की संख्या वाक्य की लंबाई के साथ नहीं बढ़ती, और मॉडल हर स्थिति पर लागू होने वाला नियम सीखता है।

RNN क्रमिक डेटा के लिए क्यों उपयुक्त है

कई डेटा में क्रम का अपना अर्थ होता है। वाक्य के शब्द, संगीत के स्वर, या समय के साथ सेंसर रीडिंग पहले के तत्वों पर निर्भर होते हैं। हिडन स्टेट RNN को पुराने संदर्भ का उपयोग करके वर्तमान हिस्से को समझने में मदद करती है।

डेटा प्रकार कार्य का उदाहरण
पाठ भावना विश्लेषण, भाषा मॉडलिंग, अनुवाद
वाणी वाक् पहचान, वाणी से पाठ
समय श्रृंखला पूर्वानुमान, सेंसर डेटा, मेडिकल रिकॉर्ड
हस्तलेख जुड़ी हुई लिखावट की पहचान

RNN नैचुरल लैंग्वेज प्रोसेसिंग से गहराई से जुड़ा है और न्यूरल नेटवर्क के साथ मिलकर शुरुआती LLM की आधारशिला बना।

ग्रेडिएंट लुप्त और विस्फोट की समस्या

प्रशिक्षण के समय RNN को अवधारणात्मक रूप से "अनरोल" किया जाता है और बैकप्रोपेगेशन थ्रू टाइम (BPTT) से सीखा जाता है। त्रुटि ग्रेडिएंट कई चरणों में गुणा होता रहता है, जिससे दो स्थितियाँ बनती हैं:

सरल RNN आमतौर पर कुछ दर्जन चरणों से अधिक की निर्भरता में कठिनाई महसूस करता है, इसलिए गेटेड आर्किटेक्चर विकसित हुए।

LSTM और GRU: दो प्रचलित रूपांतर

दोनों लंबे अनुक्रमों में जानकारी को लुप्त होने से बचाने के लिए "ग्रेडिएंट हाईवे" बनाए रखते हैं।

शक्तियाँ और सीमाएँ

शक्तियाँ

सीमाएँ

अक्सर पूछे जाने वाले प्रश्न

RNN और सामान्य न्यूरल नेटवर्क में क्या अंतर है?

सामान्य नेटवर्क इनपुट को स्वतंत्र रूप से संसाधित करता है और संदर्भ नहीं रखता। RNN में लूप होता है जो हिडन स्टेट को चरणों में ले जाता है, जिससे वर्तमान आउटपुट पहले आए डेटा पर निर्भर कर सकता है।

हिडन स्टेट की भूमिका क्या है?

हिडन स्टेट एक वेक्टर है जो अब तक पढ़ी गई जानकारी को सारांशित करती है, अल्पकालिक मेमोरी का काम करती है और अगले समय चरण को भेजी जाती है।

LSTM या GRU का उपयोग कब करना चाहिए?

जब इनपुट अनुक्रम लंबा हो और सरल RNN में ग्रेडिएंट लुप्त होने लगे, तब LSTM या GRU महत्वपूर्ण जानकारी बनाए रखने में मदद करते हैं। GRU हल्का होता है, जबकि LSTM का मेमोरी नियंत्रण अधिक पूर्ण होता है।

क्या RNN आज भी उपयोग होता है?

RNN और इसके रूपांतर क्रमिक डेटा में कभी प्रमुख थे, लेकिन आज कई कार्यों में ट्रांसफ़ॉर्मर आर्किटेक्चर अपनाया जाता है। फिर भी हिडन स्टेट और क्रमिक निर्भरता की समझ नए मॉडल सीखने की आधारशिला है।

सारांश

रिकरेंट न्यूरल नेटवर्क हिडन स्टेट बनाए रखकर क्रमिक डेटा को संसाधित करता है, जो हर समय चरण में आगे जाती है, और भार सभी चरणों में साझा होते हैं। ग्रेडिएंट लुप्त होने की चुनौती ने LSTM और GRU को जन्म दिया, जो दीर्घकालिक जानकारी बनाए रखने में मदद करते हैं। यह समझने के लिए आधारभूत आर्किटेक्चर है कि AI पाठ, वाणी और समय डेटा को कैसे संभालता है।

Sources

  1. https://www.datacamp.com/hi/tutorial/tutorial-for-recurrent-neural-network
  2. https://www.aigyani.in/category/deep-learning
  3. https://www.datacamp.com/hi/tutorial/nlp-with-pytorch-a-comprehensive-guide

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free