KNN क्या है? K-निकटतम पड़ोसी एल्गोरिदम समझाएँ

Updated · By Viviai

KNN (k-nearest neighbors या k-निकटतम पड़ोसी) एक अप्राचलिक (non-parametric) पर्यवेक्षित शिक्षण विधि है जो कोई अलग मॉडल प्रशिक्षित नहीं करती, बल्कि लेबल वाला डेटा सहेजकर रखती है; जब कोई नया बिंदु आता है तो यह k सबसे समान बिंदु ढूँढकर उन्हें वोट देने को कहती है, या समाश्रयण (regression) में उनका औसत लेती है।

सरल अंतर्ज्ञान

KNN इस धारणा पर टिका है कि समान डेटा एक-दूसरे के पास होते हैं। किसी ऐसे बिंदु के लिए जिसका पूर्वानुमान चाहिए, एल्गोरिदम आस-पास के ज्ञात बिंदुओं को देखता है और निकटतम पड़ोसियों को नतीजा तय करने देता है, बजाय एक संक्षिप्त नियम-संचय सीखने के।

इसे आलसी शिक्षण क्यों कहते हैं

KNN में कोई स्पष्ट प्रशिक्षण चरण नहीं होता; यह केवल उदाहरण सहेजता है और सारा गणना-कार्य पूर्वानुमान के समय टाल देता है। इसे lazy learning (आलसी शिक्षण) कहते हैं। प्रशिक्षण की लागत लगभग शून्य होती है, लेकिन बड़े डेटा पर क्वेरी के समय तुलना महँगी पड़ सकती है।

KNN कार्य करने के चरण

  1. नए बिंदु से प्रत्येक सहेजे गए बिंदु की दूरी गिनें।
  2. बिंदुओं को बढ़ती दूरी के क्रम में सजाएँ।
  3. सबसे छोटी दूरी वाले k बिंदु चुनें।
  4. वर्गीकरण में बहुमत मत का उपयोग करें; समाश्रयण में उनके मान का औसत लें।

यूक्लिडियन दूरी (Euclidean distance) एक आम विकल्प है:

[ d(x, x_i) = \sqrt{\sum_{j=1}^{n}(x_j - x_{ij})^2} ]

दूरी मापने के तरीके

माप विशेषता आमतौर पर कब
Euclidean सीधी रेखा की दूरी सामान्यीकृत डेटा
Manhattan प्रति आयाम अंतर का योग विविक्त (discrete) फ़ीचर
Minkowski उपरोक्त दोनों का सामान्य रूप लचीले समायोजन के लिए
Cosine वेक्टर दिशा की तुलना embedding और पाठ डेटा

फ़ीचर सामान्यीकरण की भूमिका

सभी फ़ीचर दूरी में योगदान देते हैं, इसलिए बड़े पैमाने वाला फ़ीचर छोटे पैमाने वाले फ़ीचर पर हावी हो सकता है। इसलिए KNN पाइपलाइन में पहले फ़ीचर का सामान्यीकरण (normalization) किया जाता है, ताकि उम्र और आय जैसे फ़ीचर बराबर हिस्सा दें।

k का मान कैसे चुनें

पड़ोसियों की संख्या k नतीजे को प्रभावित करती है। छोटा k शोर (noise) के प्रति संवेदनशील हो सकता है, जबकि बड़ा k अत्यधिक स्मूथिंग कर स्थानीय विवरण मिटा सकता है। आम तरीका है कई मान आज़माना और क्रॉस-वैलिडेशन से तुलना करना।

फ़ायदे और सीमाएँ

KNN समझने और लागू करने में आसान है तथा कोई निश्चित वितरण नहीं मानता। दूसरी ओर, इसे पूरा डेटा सहेजना पड़ता है और बड़े डेटासेट पर क्वेरी महँगी होती है, इसलिए दूरी-माप और सामान्यीकरण की जाँच ज़रूरी है।

FAQ

KNN वर्गीकरण के लिए है या समाश्रयण के लिए?

KNN दोनों के लिए काम करता है: वर्गीकरण बहुमत मत से, जबकि समाश्रयण k पड़ोसियों के मान के औसत से।

KNN को आलसी शिक्षण क्यों कहते हैं?

क्योंकि यह प्रशिक्षण चरण में मॉडल नहीं बनाता, केवल डेटा सहेजता है और गणना क्वेरी के समय करता है।

क्या फ़ीचर सामान्यीकरण ज़रूरी है?

अक्सर हाँ, क्योंकि बड़े पैमाने वाले फ़ीचर दूरी पर हावी हो सकते हैं।

छोटा k चुनें या बड़ा?

छोटा k शोर के प्रति संवेदनशील, बड़ा k अत्यधिक स्मूथिंग करता है; कई मान आज़माकर वास्तविक नतीजों से मिलान करें।

मुख्य बिंदु

आगे पढ़ें machine learning क्या है और supervised learning क्या है.

Sources

  1. https://primelearnpoint.com/machine-learning/k-nearest-neighbors/
  2. https://www.datacamp.com/hi/tutorial/introduction-machine-learning-python
  3. https://www.datacamp.com/hi/tutorial/preprocessing-in-data-science-part-1-centering-scaling-and-knn

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free