रेगुलराइजेशन क्या है? Machine Learning में Overfitting कैसे रोकें

Updated · By Viviai

रेगुलराइजेशन (regularization या नियमितीकरण) machine learning की उन तकनीकों का समूह है जो मॉडल की जटिलता पर अंकुश लगाती हैं, ताकि मॉडल प्रशिक्षण डेटा को रटे नहीं बल्कि नए डेटा पर बेहतर काम करे। आम तरीका हानि फलन (loss function) में एक दंड (penalty) जोड़ना है, जिससे बहुत बड़े भार (weights) हतोत्साहित होते हैं और overfitting का खतरा घटता है।

सरल अंतर्ज्ञान

दो विद्यार्थियों की कल्पना करें। पहला हर नोट और एक बार बताई गई अजीब मिसाल तक रट लेता है; अभ्यास पत्र में अंक ज़्यादा, असली परीक्षा में कम। दूसरा केवल सरल मुख्य नियम रखता है; अभ्यास अंक थोड़े कम, लेकिन परीक्षा अंक स्थिर।

रेगुलराइजेशन दूसरे विद्यार्थी जैसा अनुशासन है। यह मॉडल को शोर (noise) रटने के बजाय सामान्य पैटर्न सीखने की ओर ले जाता है।

रेगुलराइजेशन की ज़रूरत क्यों

जब मॉडल बहुत शक्तिशाली हो या फ़ीचर बहुत हों, तो वह प्रशिक्षण डेटा के शोर समेत हर बारीकी से चिपक जाता है। इसे overfitting (अतिअनुकूलन) कहते हैं: देखे हुए डेटा पर नतीजे अच्छे, नए डेटा पर खराब।

AI Gyani बताता है कि बिना रोक के मॉडल प्रशिक्षण त्रुटि को शून्य की ओर धकेलता है और डेटा रटने लगता है। रेगुलराइजेशन इस लचीलेपन पर बंदिश लगाकर मॉडल को डेटा फिट करने और सरल रहने के बीच संतुलन सिखाता है।

L1 और L2: दो आम दंड रूप

पहलू L1 (Lasso रिग्रेशन) L2 (Ridge रिग्रेशन)
दंड गुणांकों के निरपेक्ष मान का योग गुणांकों के वर्ग का योग
भार पर असर कुछ ठीक शून्य हो जाते हैं सब सिकुड़ते हैं, शून्य तक कम ही पहुँचते हैं
फ़ीचर चयन हाँ, स्वतः होता है नहीं
मॉडल विरल (sparse), कम सक्रिय फ़ीचर सघन, कई फ़ीचर छोटे भार के साथ
कब उपयुक्त कई फ़ीचर अप्रासंगिक हों अधिकांश फ़ीचर प्रासंगिक हों

L2 (Ridge) कैसे काम करता है

L2 गुणांक के वर्ग के अनुपात में दंड देता है। गुणांक जितना बड़ा, दंड उतना बड़ा, इसलिए मॉडल भार घटाने को प्रेरित होता है। मुख्य शब्द है सिकुड़न: L2 गुणांकों को शून्य की ओर खींचता है लेकिन उन्हें मिटाता कम है, जिससे हर फ़ीचर कुछ योगदान देता रहता है।

ग्रेडिएंट आधारित प्रशिक्षण में L2 को अक्सर वेट डिके (weight decay) कहते हैं, क्योंकि हर अद्यतन पर भार थोड़ा सिकुड़ता है।

L1 (Lasso) कैसे काम करता है

L1 वर्ग के बजाय गुणांक के निरपेक्ष मान पर दंड लगाता है। इसका खिंचाव शून्य तक स्थिर रहता है, जिससे कमज़ोर गुणांक ठीक शून्य हो जाते हैं। यही कारण है कि L1 स्वतः फ़ीचर चयन करता है और एक सरल, समझने योग्य मॉडल देता है।

PrimeLearnPoint के अनुसार L2 का खिंचाव भार घटने पर कमज़ोर पड़ता है, जबकि L1 का खिंचाव बना रहता है; यही अंतर L1 को फ़ीचर हटाने में सक्षम बनाता है।

अन्य रेगुलराइजेशन तकनीकें

भार दंड के अलावा overfitting घटाने के और तरीके भी प्रचलित हैं:

अल्फा या लैम्बडा की भूमिका

दंड की ताकत एक हाइपरपैरामीटर से तय होती है जिसे अल्फा (α) या लैम्बडा (λ) लिखते हैं। छोटा मान हल्की रोक, बड़ा मान कड़ी रोक लगाता है। बहुत बड़ा मान मॉडल को अत्यधिक सरल कर underfitting की ओर ले जा सकता है, इसलिए इसे क्रॉस-वैलिडेशन से ट्यून करना आम चलन है।

फ़ायदे और सीमाएँ

रेगुलराइजेशन नए डेटा पर मॉडल को स्थिर करता है और बायस-वेरिएंस संतुलन सुधारता है: थोड़ा बायस बढ़कर वेरिएंस ज़्यादा घटता है। दूसरी ओर, बहुत कड़ा दंड उपयोगी पैटर्न भी मिटा सकता है, और तकनीक तथा ताकत का चुनाव डेटा के अनुसार जाँचना पड़ता है।

FAQ

संक्षेप में रेगुलराइजेशन क्या है?

मॉडल की जटिलता सीमित करने वाला दंड, ताकि वह शोर रटने के बजाय सामान्य पैटर्न सीखे और नए डेटा पर बेहतर काम करे।

L1 और L2 में क्या अंतर है?

L1 निरपेक्ष मान का दंड लगा गुणांक ठीक शून्य कर सकता है (फ़ीचर चयन), L2 वर्ग का दंड लगा भार केवल सिकुड़ता है, मिटाता नहीं।

वेट डिके का क्या मतलब है?

ग्रेडिएंट प्रशिक्षण में L2 का रूप, जहाँ हर अद्यतन पर भार थोड़ा सिकुड़ता है।

क्या रेगुलराइजेशन से underfitting हो सकता है?

हाँ, यदि दंड बहुत कड़ा हो तो मॉडल अत्यधिक सरल होकर उपयोगी पैटर्न पकड़ने से चूक जाता है।

मुख्य बिंदु

आगे पढ़ें overfitting क्या है और machine learning क्या है.

Sources

  1. https://www.aigyani.in/blog/overfitting-vs-underfitting-explained
  2. https://primelearnpoint.com/machine-learning/ridge-lasso-regression/

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free