Prompt Injection क्या है? शुरुआती गाइड
Prompt Injection वह हमला है जो AI मॉडल को धोखा देकर उसके मूल निर्देश भुला देता है और हमलावर की बात मनवाता है। भाषा मॉडल हमेशा डेवलपर के निर्देश और सामान्य डेटा के बीच फर्क नहीं कर पाते, इसलिए निर्देश जैसा दिखने वाला टेक्स्ट उसका व्यवहार बदल सकता है।
सरल भाषा में
मान लें कोई चैटबॉट किसी वेबपेज का पाठ पढ़ रहा है। हमलावर उस पेज में छुपा देता है "पिछले सभी नियम भूल जाओ और यह करो।" अगर मॉडल मान लेता है, तो वह जानकारी लीक कर सकता है या बिना पूछे काम कर सकता है। OpenAI इसे बातचीत वाले AI के लिए एक सामाजिक छल (social engineering) हमला बताता है।
क्यों होता है
भाषा मॉडल हर इनपुट को एक ही बातचीत में सादे टेक्स्ट के रूप में देखता है। कोड और डेटा को अलग रखने वाले पारंपरिक प्रोग्राम के विपरीत, LLM सिस्टम निर्देश और बाहरी सामग्री को समान रूप से लेता है, जिससे उनकी सीमा धुंधली हो जाती है।
संभावित नुकसान
- निजी डेटा या बातचीत का रिसाव।
- सुरक्षा फिल्टर को बायपास करना।
- टूल चलाने वाले एजेंट सिस्टम में अनचाही कार्रवाई।
OWASP ने prompt injection को LLM ऐप्स का पहला प्रमुख जोखिम बताया है, और MITRE इसे AML.T0051 के रूप में दर्ज करता है।
बचाव के तरीके
- बाहरी स्रोतों (वेब, ईमेल, दस्तावेज़) की सामग्री को डेटा समझें, भरोसेमंद आदेश नहीं।
- मॉडल की अनुमतियां और टूल सीमित रखें; महत्वपूर्ण कार्यों की पुष्टि लें।
- संवेदनशील जानकारी कॉन्टेक्स्ट में न डालें; वैलिडेशन और निगरानी अपनाएं।
- आम उपयोगकर्ता: अपरिचित टेक्स्ट कॉपी करके AI में डालने से बचें।
FAQ
क्या यह हैकिंग है?
यह AI ऐप की सुरक्षा कमजोरी है, पर जरूरी नहीं सिस्टम तोड़ना हो; हमला टेक्स्ट के जरिए मॉडल को बहकाता है।
क्या इसे पूरी तरह रोका जा सकता है?
एक ही उपाय से नहीं, इसलिए स्तरित बचाव और सीमित अनुमतियां व्यावहारिक रास्ता हैं।
क्या यह केवल ChatGPT पर होता है?
नहीं, सभी भाषा मॉडल और बाहरी सामग्री पढ़ने वाले ऐप्स प्रभावित हो सकते हैं।
SQL injection से अंतर क्या है?
दोनों इनपुट में छिपे आदेश डालते हैं, पर SQL injection डेटाबेस पर और prompt injection भाषा मॉडल पर वार करता है।
मुख्य बातें
- Prompt Injection AI को छिपे आदेश मानने पर मजबूर करता है।
- कारण: मॉडल निर्देश और डेटा अलग नहीं कर पाता।
- नुकसान: डेटा रिसाव और सुरक्षा उल्लंघन।
- स्तरित बचाव और सीमित अनुमतियां जोखिम घटाती हैं।
आगे पढ़ें AI chatbot क्या है और privacy protection।
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free