Autoencoder Kya Hai? डेटा को संपीड़ित और फिर से बनाने वाला स्व-पर्यवेक्षित नेटवर्क
ऑटोएनकोडर (autoencoder) एक प्रकार का तंत्रिका नेटवर्क है जो बिना लेबल वाले डेटा का कुशल प्रतिनिधित्व (encoding) सीखता है; इसमें एक encoder इनपुट को संक्षिप्त करता है और एक decoder उस संक्षिप्त प्रतिनिधित्व से इनपुट को फिर से बनाने (reconstruct) का प्रयास करता है। चूंकि लक्ष्य इनपुट को स्वयं फिर से बनाना है, इसलिए इसे स्व-पर्यवेक्षित शिक्षण का उदाहरण माना जाता है।
घंटे के आकार की संरचना (hourglass architecture)
ऑटोएनकोडर की संरचना एक घंटे (hourglass) जैसी सिकुड़ती-फैलती दिखती है और इसके तीन भाग होते हैं:
| भाग | कार्य |
|---|---|
| Encoder | इनपुट को संपीड़ित करके आवश्यक फ़ीचर निकालता है |
| Latent space (bottleneck) | सबसे छोटी मध्य परत, जहाँ संक्षिप्त कोड होता है |
| Decoder | संक्षिप्त कोड को फैलाकर इनपुट फिर से बनाने का प्रयास करता है |
bottleneck जानबूझकर इनपुट से छोटा रखा जाता है। यदि कोड इनपुट जितना ही बड़ा हो, तो नेटवर्क डेटा को रट (copy) सकता है और कोई उपयोगी पैटर्न नहीं सीखता। संकुचन मॉडल को केवल ज़रूरी जानकारी रखने के लिए बाध्य करता है।
यह कैसे सीखता है
प्रशिक्षण में decoder के आउटपुट की तुलना मूल इनपुट से की जाती है, और दोनों के बीच के अंतर को पुनर्निर्माण हानि (reconstruction loss) कहते हैं। एक सामान्य रूप वर्गित त्रुटि है:
[ L = \frac{1}{N}\sum_{i=1}^{N}\left|x_i - D(E(x_i))\right|^2 ]
बैकप्रोपेगेशन और ग्रेडिएंट डिसेंट इस हानि को कम करते हैं, ताकि पुनर्निर्माण मूल इनपुट के निकट आता जाए। यहाँ सक्रियण फलन नेटवर्क को अरैखिक संबंध सीखने में सक्षम बनाता है।
ऑटोएनकोडर के प्रकार
| प्रकार | मुख्य लक्ष्य | सामान्य उपयोग |
|---|---|---|
| Vanilla autoencoder | सरल संपीड़न | PCA जैसे विकल्प का अरैखिक रूप |
| Denoising autoencoder | शोर हटाना | छवि सफ़ाई, पुनर्स्थापना |
| Sparse autoencoder | विरल फ़ीचर सीखना | फ़ीचर चयन |
| Contractive autoencoder | इनपुट के छोटे बदलाव पर स्थिर प्रतिनिधित्व | मज़बूत फ़ीचर |
| Variational autoencoder (VAE) | प्रायिकता आधारित प्रतिनिधित्व | नया डेटा उत्पन्न करना |
Denoising autoencoder को शोर वाला इनपुट दिखाकर साफ़ लक्ष्य दिया जाता है, जिससे यह शोर की उपेक्षा करना सीखता है। VAE डेटा को एक प्रायिकता वितरण में बदलता है, जिससे नए नमूने (जैसे नए चेहरे या पैटर्न) बनाए जा सकते हैं; VAE प्रायः GAN की तुलना में अधिक स्थिर प्रशिक्षण देता है।
सामान्य उपयोग
- विमीयता में कमी (dimensionality reduction): बड़े फ़ीचर सेट को छोटे प्रतिनिधित्व में लाना।
- छवि डिनॉइज़िंग: दानेदार या क्षतिग्रस्त छवियों को साफ़ करना।
- विसंगति पहचान (anomaly detection): केवल सामान्य डेटा पर प्रशिक्षित मॉडल असामान्य नमूने पर उच्च पुनर्निर्माण त्रुटि देता है, जिसका उपयोग धोखाधड़ी जैसे मामलों में होता है।
- फ़ीचर निष्कर्षण और जनन: अन्य मॉडलों के लिए embedding बनाना तथा VAE से संश्लेषित डेटा बनाना।
Autoencoder और PCA में अंतर
PCA एक रैखिक (linear) विधि है जो डेटा को रैखिक घटकों पर प्रक्षेपित करती है। ऑटोएनकोडर सक्रियण फलन युक्त तंत्रिका परतों के माध्यम से अरैखिक (non-linear) संबंध भी सीख सकता है, इसलिए जटिल डेटा जैसे छवियों पर यह अधिक लचीला होता है। दोनों का चुनाव डेटा की प्रकृति और व्याख्या की आवश्यकता पर निर्भर करता है।
संबंधित अवधारणाएँ
ऑटोएनकोडर अपर्यवेक्षित शिक्षण और स्व-पर्यवेक्षित शिक्षण के अंतर्गत आता है, हानि फलन से मूल्यांकित होता है, और गहन शिक्षण की एक आधारभूत संरचना है।
FAQ
Bottleneck क्यों आवश्यक है?
यह मॉडल को डेटा की नकल करने के बजाय संक्षिप्त, उपयोगी पैटर्न सीखने के लिए बाध्य करता है। बिना संकुचन के नेटवर्क जानकारी को बिना समझे रट सकता है।
Reconstruction error क्या है?
यह वह संख्या है जो बताती है कि decoder का आउटपुट मूल इनपुट से कितना भिन्न है। इस त्रुटि को कम करना ही प्रशिक्षण का लक्ष्य होता है।
Autoencoder स्व-पर्यवेक्षित क्यों कहलाता है?
क्योंकि इसे बाहरी लेबल की आवश्यकता नहीं होती; इनपुट स्वयं लक्ष्य का काम करता है, और मॉडल इनपुट को ही फिर से बनाना सीखता है।
Autoencoder और VAE में क्या अंतर है?
सामान्य ऑटोएनकोडर एक निश्चित कोड सीखता है और मुख्यतः संपीड़न करता है; VAE प्रायिकता वितरण सीखता है और नया डेटा उत्पन्न कर सकता है।
क्या ऑटोएनकोडर विसंगति पहचान में उपयोग होता है?
हाँ। सामान्य डेटा पर प्रशिक्षित मॉडल असामान्य नमूने को अच्छी तरह पुनर्निर्मित नहीं कर पाता, जिससे त्रुटि बढ़ती है और विसंगति का संकेत मिलता है।
मुख्य बातें
- ऑटोएनकोडर encoder से संपीड़न और decoder से पुनर्निर्माण करता है।
- bottleneck उपयोगी फ़ीचर सीखने के लिए आवश्यक है।
- denoising, sparse, contractive और VAE प्रमुख प्रकार हैं।
- यह अरैखिक होता है, जबकि PCA केवल रैखिक संपीड़न करता है।
- सामान्य उपयोग डिनॉइज़िंग, विसंगति पहचान, विमीयता में कमी और जनन हैं।
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free