Activation Function Kya Hai? तंत्रिका नेटवर्क का गैर-रैखिक स्विच
सक्रियण फलन (activation function) एक गणितीय फलन है जो तंत्रिका नेटवर्क के न्यूरॉन के आउटपुट को तय करता है और उसमें गैर-रैखिकता (non-linearity) जोड़ता है; इसके बिना नेटवर्क चाहे कितनी भी परतों वाला हो, केवल रैखिक गणनाएँ ही कर पाता है और जटिल पैटर्न नहीं सीख सकता। छवियों, ध्वनि और पाठ में मौजूद मुड़े हुए, जटिल संबंधों को समझने के लिए सक्रियण फलन आवश्यक हैं।
गैर-रैखिकता क्यों ज़रूरी है
यदि कोई सक्रियण फलन न हो, तो नेटवर्क हर इनपुट को केवल सीधी रेखाओं (रैखिक संबंधों) से जोड़ पाता है। रैखिक परतों को कितना भी ऊपर ढेर लगा लें, रैखिक का संयोजन फिर से रैखिक ही रहता है, इसलिए सौ परतों वाला नेटवर्क भी व्यावहारिक रूप से एक परत जैसा व्यवहार करता है।
सक्रियण फलन इसमें मोड़ (curves) जोड़ते हैं, जिससे मॉडल जटिल पैटर्न सीख पाता है, उदाहरण के लिए छवि में किनारे, बनावट या आकृतियाँ पहचानना। यही गैर-रैखिकता तंत्रिका नेटवर्क की असली क्षमता है।
प्रचलित सक्रियण फलन
Sigmoid
Sigmoid किसी भी इनपुट को 0 और 1 के बीच दबा देता है, जिससे आउटपुट प्रायिकता जैसा दिखता है। गहरे नेटवर्क में इसका अवकलज बहुत छोटा हो जाता है, जिससे लुप्त होते ग्रेडिएंट (vanishing gradient) की समस्या आती है और सीखना धीमा या लगभग रुक सकता है।
Tanh
Tanh (hyperbolic tangent) आउटपुट को -1 और 1 के बीच रखता है और शून्य-केंद्रित (zero-centered) होता है, इसलिए यह कई स्थितियों में sigmoid से बेहतर विकल्प होता है। बहरहाल, गहरे नेटवर्क में इसमें भी लुप्त ग्रेडिएंट की समस्या आ सकती है।
ReLU
ReLU (Rectified Linear Unit) आज कई नेटवर्कों में सामान्य पसंद है। इसका सूत्र है:
[ \mathrm{ReLU}(x) = \max(0, x) ]
ऋणात्मक मान पर आउटपुट शून्य और धनात्मक मान पर इनपुट ज्यों-का-त्यों बना रहता है। यह परिकलन में तेज़ होता है और लुप्त ग्रेडिएंट समस्या को काफी हद तक कम करता है। एक ज्ञात सीमा "डाइंग ReLU" (dying ReLU) है, जिसमें कुछ न्यूरॉन का ग्रेडिएंट लगातार शून्य रहने से वह निष्क्रिय हो जाता है। इसे कम करने के लिए Leaky ReLU का उपयोग किया जाता है, जो ऋणात्मक क्षेत्र में एक छोटा ढलान देता है।
Softmax
Softmax का उपयोग आम तौर पर अंतिम परत में होता है, खासकर बहु-वर्ग वर्गीकरण में। यह सभी आउटपुट को ऐसी प्रायिकताओं में बदलता है जिनका योग 1 होता है। उदाहरण के लिए, यदि मॉडल कुत्ते की प्रायिकता 0.9 और बिल्ली की 0.1 देता है, तो यह Softmax की भूमिका है।
GELU
GELU (Gaussian Error Linear Unit) का उपयोग कई Transformer आधारित मॉडलों में होता है। यह ReLU की तुलना में चिकना व्यवहार देता है और BERT तथा GPT जैसे मॉडलों से जुड़ा है।
तुलना तालिका
| फलन | आउटपुट सीमा | मुख्य विशेषता | उपयुक्त स्थिति |
|---|---|---|---|
| Sigmoid | 0 से 1 | प्रायिकता जैसा आउटपुट, पर लुप्त ग्रेडिएंट का जोखिम | द्विआधारी आउटपुट परत |
| Tanh | -1 से 1 | शून्य-केंद्रित | छिपी हुई परतें (पुराने मॉडल) |
| ReLU | 0 से अनंत | तेज़, पर डाइंग न्यूरॉन की संभावना | अधिकांश छिपी हुई परतें |
| Leaky ReLU | ऋणात्मक क्षेत्र में छोटा मान | डाइंग न्यूरॉन कम करता है | गहरे नेटवर्क |
| Softmax | 0 से 1, योग 1 | वर्ग-प्रायिकता देता है | बहु-वर्ग आउटपुट परत |
| GELU | चिकना, गैर-रैखिक | Transformer मॉडलों में प्रचलित | आधुनिक भाषा मॉडल |
चुनाव कैसे करें
- छिपी हुई परतों के लिए ReLU या उसके रूपांतर आम तौर पर शुरुआती विकल्प होते हैं।
- द्विआधारी वर्गीकरण की अंतिम परत में sigmoid और बहु-वर्ग में softmax का उपयोग होता है।
- गहरे नेटवर्क में डाइंग न्यूरॉन दिखें, तो Leaky ReLU आज़माया जा सकता है।
- Transformer आधारित मॉडलों में GELU प्रचलित है।
शोधकर्ता Swish और Mish जैसे नए फलन भी बनाते हैं, जो कुछ कार्यों में बेहतर परिणाम दे सकते हैं। किसी एक फलन को हर स्थिति में सर्वश्रेष्ठ मानने के बजाय, उसे अपने डेटा और मॉडल पर जाँचना अधिक विश्वसनीय होता है।
संबंधित अवधारणाएँ
सक्रियण फलन तंत्रिका नेटवर्क के प्रशिक्षण का ही एक हिस्सा हैं। तंत्रिका नेटवर्क क्या है और बैकप्रोपेगेशन क्या है इसे संदर्भ देते हैं, जबकि Transformer क्या है बताता है कि GELU जैसे फलन आधुनिक मॉडलों में कहाँ उपयोग होते हैं। गहन मॉडलों की बड़ी तस्वीर के लिए डीप लर्निंग क्या है पढ़ें।
FAQ
बिना सक्रियण फलन के क्या होता है?
नेटवर्क केवल रैखिक संबंध सीख पाता है। रैखिक परतों को ढेर लगाने से भी परिणाम रैखिक ही रहता है, इसलिए जटिल, मुड़े हुए पैटर्न नहीं सीखे जा सकते।
ReLU क्यों लोकप्रिय है?
यह परिकलन में सरल और तेज़ है तथा लुप्त ग्रेडिएंट समस्या को काफी हद तक कम करता है। इसकी ज्ञात सीमा डाइंग न्यूरॉन है, जिसके लिए Leaky ReLU जैसे विकल्प मौजूद हैं।
Sigmoid और Softmax में क्या अंतर है?
Sigmoid एक इकाई के लिए 0 से 1 के बीच मान देता है और द्विआधारी वर्गीकरण में उपयोग होता है। Softmax कई वर्गों की परस्पर प्रायिकताएँ देता है जिनका योग 1 होता है, और यह बहु-वर्ग वर्गीकरण में प्रयुक्त होता है।
लुप्त ग्रेडिएंट समस्या क्या है?
जब सक्रियण फलन का अवकलज बहुत छोटा हो जाता है, तो चेन रूल से पीछे की ओर जाते समय वेट लगभग अपडेट होना बंद हो जाते हैं। ReLU जैसे फलन इसे कम करने में मदद करते हैं।
क्या अपना सक्रियण फलन बनाया जा सकता है?
हाँ। Swish और Mish जैसे फलन शोधकर्ताओं द्वारा विकसित किए गए हैं। नए फलन का उपयोग करने से पहले उसे अपने डेटा पर सत्यापित करना ज़रूरी होता है।
मुख्य बातें
- सक्रियण फलन नेटवर्क में गैर-रैखिकता जोड़ते हैं, जिससे जटिल पैटर्न सीखे जा सकते हैं।
- Sigmoid, tanh, ReLU, softmax और GELU प्रमुख फलन हैं, हर एक की अपनी सीमाएँ हैं।
- ReLU तेज़ और प्रचलित है, पर डाइंग न्यूरॉन की संभावना रहती है।
- चुनाव कार्य और परत के प्रकार पर निर्भर करता है, किसी एक फलन को हर जगह सर्वश्रेष्ठ नहीं माना जाना चाहिए।
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free