Loss Function Kya Hai? मॉडल की त्रुटि मापने का गणितीय पैमाना

Updated · By Viviai

हानि फलन (loss function) एक गणितीय फलन है जो मॉडल की भविष्यवाणी और वास्तविक मान (ground truth) के बीच की त्रुटि को मापता है; यह बैकप्रोपेगेशन और ग्रेडिएंट डिसेंट को बताता है कि मॉडल कितना गलत है और वेट को किस दिशा में समायोजित किया जाए। प्रशिक्षण का लक्ष्य इस हानि को कम करना होता है।

Loss, Cost और Objective में अंतर

ये तीन शब्द अक्सर एक-दूसरे के स्थान पर उपयोग होते हैं, पर इनके बीच एक सूक्ष्म अंतर है:

शब्द अर्थ
Loss function एकल प्रशिक्षण नमूने (single sample) की त्रुटि
Cost function पूरे डेटासेट की सभी हानियों का औसत
Objective function वह समग्र समीकरण जिसे मॉडल कम या अधिक करता है, जिसमें नियमितीकरण (regularization) भी शामिल हो सकता है

सरल शब्दों में, हानि एक नमूने की गलती है, लागत पूरे डेटासेट की औसत गलती है, और उद्देश्य फलन में नियमितीकरण दंड जुड़ सकता है।

प्रतिगमन (Regression) के हानि फलन

जब लक्ष्य एक सतत संख्या हो, जैसे घर की कीमत या तापमान, तो निम्न हानि फलन प्रचलित हैं।

MSE (Mean Squared Error)

MSE हर त्रुटि का वर्ग करके औसत निकालता है:

[ \mathrm{MSE} = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2 ]

इसका ग्रेडिएंट त्रुटि के समानुपाती होता है, जिससे त्रुटि घटते हुए समायोजन स्वतः छोटे होते हैं। एक सीमा यह है कि यह बाहरी मानों (outliers) के प्रति संवेदनशील होता है, क्योंकि बड़ी त्रुटि का वर्ग बहुत बड़ा दंड बन जाता है और फिट रेखा बाहरी मान की ओर खिंच सकती है।

MAE (Mean Absolute Error)

MAE त्रुटि का निरपेक्ष मान लेता है:

[ \mathrm{MAE} = \frac{1}{n}\sum_{i=1}^{n}|y_i - \hat{y}_i| ]

यह बाहरी मानों से अपेक्षाकृत कम प्रभावित होता है। इसकी सीमा यह है कि शून्य पर यह अवकलनीय नहीं होता और न्यूनतम के निकट आकर चिकने ढंग से धीमा होने के बजाय उछल सकता है।

Huber Loss

Huber loss दोनों का मिश्रित रूप है। छोटी त्रुटि पर यह MSE जैसा चिकना व्यवहार देता है, और बड़ी त्रुटि पर MAE जैसा रैखिक दंड, ताकि बाहरी मान मॉडल को अत्यधिक विकृत न करें।

वर्गीकरण (Classification) के हानि फलन

वर्गीकरण में मॉडल प्रायिकताएँ देता है, इसलिए क्रॉस-एंट्रॉपी (cross-entropy) आधारित हानि उपयोग होती है।

Binary Cross-Entropy (BCE)

दो वर्गों की स्थिति में BCE उपयोग होता है। जब मॉडल सही वर्ग को उच्च प्रायिकता देता है, तो हानि छोटी होती है; जब वह ढाढ़स के साथ गलत वर्ग चुनता है, तो लॉगरिदमिक वक्र बड़ा दंड देता है।

Categorical Cross-Entropy (CCE)

दो से अधिक वर्गों की स्थिति में, आम तौर पर softmax आउटपुट के साथ CCE उपयोग होता है। हानि मुख्य रूप से सही वर्ग की प्रायिकता पर निर्भर करती है।

Focal Loss

जब वर्ग अत्यधिक असंतुलित हों, उदाहरण के लिए वस्तु पहचान में अधिकांश पृष्ठभूमि और बहुत कम लक्ष्य, तो focal loss आसान नमूनों का वजन घटाकर मॉडल का ध्यान कठिन और अल्पसंख्यक नमूनों पर केंद्रित करता है।

चुनाव तालिका

समस्या का प्रकार आउटपुट परत उपयुक्त हानि फलन
प्रतिगमन (सामान्य डेटा) रैखिक MSE
प्रतिगमन (अधिक बाहरी मान) रैखिक Huber
द्विआधारी वर्गीकरण Sigmoid Binary Cross-Entropy
बहु-वर्ग वर्गीकरण Softmax Categorical Cross-Entropy
अत्यधिक असंतुलित वर्ग Sigmoid Focal Loss

हानि और यथार्थता (Accuracy) में अंतर

अनुकूलन एल्गोरिदम, जैसे ग्रेडिएंट डिसेंट, हानि फलन को कम करते हैं, यथार्थता को सीधे नहीं। यथार्थता एक सोपान-जैसा (step) मान है जिसका अवकलज लगभग हर जगह शून्य होता है, इसलिए उस पर कैलकुलस आधारित अनुकूलन लागू नहीं होता। हानि फलन सतत और अवकलनीय होता है, इसीलिए प्रशिक्षण हानि पर चलता है।

संबंधित अवधारणाएँ

हानि फलन बैकप्रोपेगेशन और सक्रियण फलन के साथ मिलकर काम करता है। रैखिक प्रतिगमन और लॉजिस्टिक प्रतिगमन क्रमशः प्रतिगमन और वर्गीकरण हानि के उदाहरण हैं, जबकि नियमितीकरण उद्देश्य फलन में जुड़ने वाला दंड है।

FAQ

हानि फलन क्यों आवश्यक है?

यह मॉडल की त्रुटि को संख्या में बताता है, जिससे बैकप्रोपेगेशन और ग्रेडिएंट डिसेंट वेट को सही दिशा में समायोजित कर सकते हैं। बिना हानि मापे मॉडल को यह पता नहीं चलता कि वह सीख रहा है या नहीं।

MSE और MAE में क्या अंतर है?

MSE त्रुटि का वर्ग करता है और बाहरी मानों के प्रति संवेदनशील होता है; MAE निरपेक्ष त्रुटि लेता है और बाहरी मानों से कम प्रभावित होता है, पर शून्य पर अवकलनीय नहीं होता।

क्रॉस-एंट्रॉपी का उपयोग कब होता है?

वर्गीकरण में, जब मॉडल प्रायिकताएँ देता है। द्विआधारी वर्गीकरण के लिए BCE और बहु-वर्ग के लिए Categorical Cross-Entropy प्रचलित हैं।

Cost function और loss function एक ही हैं क्या?

नहीं। हानि फलन एक नमूने की त्रुटि मापता है, जबकि लागत फलन पूरे डेटासेट की हानियों का औसत होता है।

मॉडल हानि को अनुकूलित करता है या यथार्थता को?

मॉडल हानि फलन को कम करता है, क्योंकि वह अवकलनीय होता है। यथार्थता का अवकलज लगभग शून्य होता है, इसलिए उसे सीधे अनुकूलित नहीं किया जा सकता।

मुख्य बातें

Sources

  1. https://www.aigyani.in/blog/loss-functions-explained
  2. https://en.wikipedia.org/wiki/Loss_function

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free