Backpropagation Kya Hai? तंत्रिका नेटवर्क की सरल व्याख्या
बैकप्रोपेगेशन (backpropagation, "त्रुटियों का पश्च प्रसार") एक कलन विधि है जो कैलकुलस के चेन रूल (chain rule) का उपयोग करके यह गणना करती है कि तंत्रिका नेटवर्क का प्रत्येक वेट (भार) भविष्यवाणी की त्रुटि में कितना योगदान देता है; यह आउटपुट परत से पीछे की ओर चलती है, ताकि ग्रेडिएंट डिसेंट जैसा ऑप्टिमाइज़र वेट को समायोजित करके अगली बार त्रुटि कम कर सके।
बैकप्रोपेगेशन वास्तव में करता क्या है
तंत्रिका नेटवर्क भारित कनेक्शन वाली परतों से डेटा को आगे भेजकर भविष्यवाणी करता है। जब भविष्यवाणी गलत होती है, तो नेटवर्क को यह तय करने का तरीका चाहिए कि कौन से वेट बदलें और कितने। बैकप्रोपेगेशन हर वेट और बायस के सापेक्ष लॉस (हानि) का ग्रेडिएंट निकालकर इस प्रश्न का उत्तर देती है। तकनीकी रूप से यह एक ग्रेडिएंट-गणना विधि है; वेट को वास्तव में बदलने वाला कदम आमतौर पर ग्रेडिएंट डिसेंट जैसा अलग ऑप्टिमाइज़र होता है।
इसने कौन सी समस्या हल की
एकल-परत मॉडल में वेट समायोजित करना आसान है, लेकिन कई छिपी परतों वाले नेटवर्क गणनाओं की नेस्टेड शृंखला बनाते हैं। हर वेट के प्रभाव को अलग-अलग निकालने में बहुत अधिक दोहराव वाला गणित होता। बैकप्रोपेगेशन पीछे चलते समय बीच के परिणामों का पुन: उपयोग करती है, जिससे बहु-परत नेटवर्क को प्रशिक्षित करना व्यावहारिक रूप से संभव होता है। यह विचार 1986 के रुमेलहार्ट, हिंटन और विलियम्स के शोध पत्र के बाद व्यापक रूप से जाना गया, हालांकि स्वचालित अवकलन से जुड़े विचार पहले भी मौजूद थे।
फ़ॉरवर्ड पास बनाम बैकवर्ड पास
| पास | दिशा | क्या गणना करता है |
|---|---|---|
| फ़ॉरवर्ड पास | इनपुट से आउटपुट | एक्टिवेशन और भविष्यवाणी, फिर लॉस |
| बैकवर्ड पास | आउटपुट से इनपुट | हर वेट और बायस के लिए लॉस का ग्रेडिएंट |
फ़ॉरवर्ड पास में हर न्यूरॉन अपने वेट और एक्टिवेशन फ़ंक्शन का उपयोग करके आउटपुट बनाता है। इसके बाद लॉस फ़ंक्शन उस आउटपुट की तुलना लक्ष्य से करता है। बैकवर्ड पास में त्रुटि संकेत आउटपुट परत से इनपुट की ओर, एक-एक परत करके वापस जाता है।
चेन रूल, चरण दर चरण
बैकप्रोपेगेशन चेन रूल का कुशल उपयोग है। किसी परत (l) के लिए एक त्रुटि पद, जिसे अक्सर (\delta) लिखा जाता है, उसके ठीक सामने वाली परत से प्राप्त होता है:
[ \delta^{l} = (f^{l})' \circ (W^{l+1})^{T}\delta^{l+1} ]
यहां ((f^{l})') एक्टिवेशन फ़ंक्शन का अवकलज (derivative) है और (W^{l+1}) अगली परत के वेट रखता है। (\delta) ज्ञात होने के बाद, किसी वेट का ग्रेडिएंट उसे इनपुट देने वाले एक्टिवेशन से निकल आता है। चूंकि हर परत सामने वाली परत के ग्रेडिएंट का पुन: उपयोग करती है, समान राशियों को बार-बार नहीं गिनना पड़ता।
वेट फिर कैसे अपडेट होता है
बैकप्रोपेगेशन ग्रेडिएंट प्रदान करती है; ऑप्टिमाइज़र उनका उपयोग करता है। सामान्य ग्रेडिएंट-डिसेंट अपडेट में वेट (w) अपने ग्रेडिएंट के विपरीत दिशा में एक छोटा कदम लेता है:
[ w_{\text{नया}} = w_{\text{पुराना}} - \eta\frac{\partial L}{\partial w} ]
प्रतीक (\eta) लर्निंग रेट (अधिगम दर) है, जो कदम का आकार नियंत्रित करता है। पूरे प्रशिक्षण डेटा का एक बार फ़ॉरवर्ड और बैकवर्ड अपडेट अक्सर एपॉक और बैच में व्यवस्थित होता है।
मिलने वाले शब्द
| शब्द | इस संदर्भ में अर्थ |
|---|---|
| ग्रेडिएंट | वेट बदलने पर लॉस किस दिशा और गति से बदलता है |
| एपॉक | पूरे प्रशिक्षण डेटा पर एक बार पास |
| बैच | एक अपडेट में उपयोग होने वाले उदाहरणों का उपसमूह |
| लर्निंग रेट | हर अपडेट का आकार नियंत्रित करने वाला कारक |
| चेन रूल | नेस्टेड फ़ंक्शन का अवकलन करने का कैलकुलस नियम |
ईमानदार सीमाएं
बैकप्रोपेगेशन अकेले किसी उपयोगी मॉडल की गारंटी नहीं देती; यह डेटा, लॉस और चुने गए ऑप्टिमाइज़र पर निर्भर करती है। गहरे नेटवर्क में कई परतों से पीछे जाते समय ग्रेडिएंट बहुत छोटे हो सकते हैं, जिसे वैनिशिंग-ग्रेडिएंट समस्या कहते हैं और जिसे एक्टिवेशन चयन व नेटवर्क डिज़ाइन से संबोधित किया जाता है। यह अवकलनीय (differentiable) फ़ंक्शन पर निर्भर करती है, इसलिए मॉडल के जिन हिस्सों का ग्रेडिएंट नहीं होता, उन्हें इस विधि से प्रशिक्षित नहीं किया जा सकता।
अक्सर पूछे जाने वाले प्रश्न
क्या बैकप्रोपेगेशन और ग्रेडिएंट डिसेंट एक ही हैं?
नहीं। बैकप्रोपेगेशन ग्रेडिएंट की गणना करती है, जबकि ग्रेडिएंट डिसेंट एक ऑप्टिमाइज़र है जो उन ग्रेडिएंट का उपयोग करके वेट अपडेट करता है। दोनों आमतौर पर साथ काम करते हैं लेकिन अलग कदम हैं।
बैकप्रोपेगेशन पीछे की ओर क्यों चलती है?
क्योंकि त्रुटि आउटपुट पर ज्ञात होती है, और चेन रूल से हर छिपी परत सामने वाली परत से अपना योगदान अनुमान कर लेती है, साथ ही परिणामों का पुन: उपयोग करती है।
एक्टिवेशन फ़ंक्शन के अवकलज की क्या भूमिका है?
यह नियंत्रित करता है कि बैकवर्ड पास में न्यूरॉन से कितना त्रुटि संकेत गुजरता है; इसलिए लगभग शून्य अवकलज सीखने की गति को धीमा कर सकता है।
क्या बैकप्रोपेगेशन हर तंत्रिका नेटवर्क पर काम करती है?
यह अवकलनीय संक्रियाओं वाले फ़ीड-फ़ॉरवर्ड नेटवर्क पर लागू होती है; लूप या गैर-अवकलनीय चरण वाली संरचनाओं के लिए अतिरिक्त विधियों या संशोधित प्रबंधन की आवश्यकता होती है।
PyTorch में .backward() बुलाने पर क्या होता है?
फ़ॉरवर्ड पास के दौरान PyTorch एक गतिशील कम्प्यूटेशनल ग्राफ़ बनाए रखता है। .backward() पर ऑटोग्रैड (autograd) इंजन उस ग्राफ़ को उल्टा ट्रेस करता है और हर पैरामीटर के .grad में ग्रेडिएंट संग्रहीत करता है।
मुख्य बातें
- बैकप्रोपेगेशन चेन रूल से हर वेट के सापेक्ष लॉस का ग्रेडिएंट गणना करती है।
- फ़ॉरवर्ड पास भविष्यवाणी और लॉस बनाता है; बैकवर्ड पास परत दर परत जिम्मेदारी तय करता है।
- वेट अपडेट ऑप्टिमाइज़र करता है, बैकप्रोपेगेशन स्वयं नहीं।
- गहरे नेटवर्क में बहुत छोटे ग्रेडिएंट प्रशिक्षण में बाधा डाल सकते हैं और जानबूझकर किए गए डिज़ाइन चयन आवश्यक होते हैं।
आगे पढ़ें: तंत्रिका नेटवर्क क्या है, गहन शिक्षण क्या है और सुपरवाइज्ड लर्निंग क्या है।
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free