कॉर्पोरेट AI एजेंट हैक होने से पहले ही क्यों विफल हो जाते हैं

कॉर्पोरेट AI एजेंट हैक होने से पहले ही क्यों विफल हो जाते हैं

एंटरप्राइज आर्टिफिशियल इंटेलिजेंस में सुरक्षा की बातचीत अक्सर एक ही बिंदु पर केंद्रित हो जाती है: खराब प्रशिक्षित मॉडल, हेलुसिनेशन, एल्गोरिदमिक पूर्वाग्रह। जबकि तकनीकी टीमें मॉडल आर्किटेक्चर पर बहस करती हैं, संवेदनशील डेटा पहले से ही बाहरी सर्वरों पर जा रहा है, एजेंट अत्यधिक विशेषाधिकारों के साथ काम कर रहे हैं और किसी ने भी पहचान प्रबंधन ढांचे को उन संस्थाओं को शामिल करने के लिए अपडेट नहीं किया है जो बिना किसी मानवीय निगरानी के निर्णय लेती हैं। यह खाई तकनीकी नहीं है — यह व्यवहारिक और संगठनात्मक है।

Andrés MolinaAndrés Molina12 मई 20267 मिनट
साझा करें

कॉर्पोरेट AI एजेंट हैक होने से पहले ही क्यों विफल हो जाते हैं

एंटरप्राइज़ आर्टिफिशियल इंटेलिजेंस में सुरक्षा को लेकर जो बातचीत होती है, वह अक्सर एक ही बिंदु पर आकर रुक जाती है: गलत तरीके से प्रशिक्षित मॉडल, भ्रामक आउटपुट (hallucinations), एल्गोरिदमिक पूर्वाग्रह। जबकि तकनीकी टीमें मॉडल की आर्किटेक्चर पर बहस करती रहती हैं, संवेदनशील डेटा पहले ही बाहरी सर्वरों तक पहुँच चुका होता है, एजेंट अत्यधिक विशेषाधिकारों के साथ काम कर रहे होते हैं और किसी ने भी पहचान प्रबंधन के ढाँचों को अपडेट नहीं किया होता ताकि उन इकाइयों को शामिल किया जा सके जो वास्तविक समय में किसी मानव की निगरानी के बिना निर्णय लेती हैं।

यह अंतर अपनी उत्पत्ति में तकनीकी नहीं है। यह व्यवहारात्मक और संगठनात्मक है। और यही बात इसे बंद करना अधिक कठिन बनाती है।

---

किसी API को कॉल करना डेटा ट्रांसफर है, और लगभग कोई भी इसे इस तरह नहीं देखता

जब इंजीनियरिंग की कोई टीम किसी लैंग्वेज मॉडल को किसी आंतरिक ग्राहक डेटाबेस, सपोर्ट सिस्टम या मालिकाना दस्तावेज़ीकरण से जोड़ती है, तो वह ऐसा जल्दी परिणाम दिखाने के दबाव में करती है। प्रोटोटाइप कुछ ही दिनों में तैयार हो जाता है। वास्तविक डेटा के साथ एकीकरण में हफ्ते लगते हैं। यह वर्गीकृत करने में कि कौन-सी जानकारी संगठन की सीमा से बाहर जा सकती है, महीने लग जाते हैं। अधिकांश मामलों में, यह वर्गीकरण उत्पादन में लॉन्च होने से पहले नहीं होता।

परिणाम अनुमानित होता है: व्यक्तिगत रूप से पहचान योग्य जानकारी वाले फ़ील्ड, वित्तीय रिकॉर्ड, एक्सेस टोकन और सक्रिय क्रेडेंशियल उन payloads में शामिल हो जाते हैं जो मॉडल प्रदाता को भेजे जाते हैं। मॉडल को की गई हर क्वेरी बाहरी बुनियादी ढाँचे की ओर एक डेटा ट्रांसफर है। प्रदाता उस जानकारी को प्रोसेस करता है, यदि उसकी सेवा की शर्तें डिफ़ॉल्ट रूप से इसकी अनुमति देती हैं तो उसे बनाए रखता है, और संभावित रूप से पुनः प्रशिक्षण के लिए इसका उपयोग करता है, जब तक कि संगठन ने विशिष्ट शर्तों पर बातचीत न की हो।

यह तकनीकी भेद्यता नहीं है, सख्त अर्थ में। यह एक संज्ञानात्मक घर्षण (cognitive friction) है जिसे टीमें नज़रअंदाज़ करने का फैसला करती हैं क्योंकि दृश्यमान लागत लॉन्च में देरी है, जबकि अदृश्य लागत — डेटा लीक या GDPR उल्लंघन — अमूर्त और दूर की लगती है। तात्कालिक लागतों और विलंबित जोखिमों के बीच धारणा की यह असममिति ठीक वही तंत्र है जो समस्या को सक्रिय बनाए रखती है।

विकास की शुरुआत से ही पाइपलाइन में डेटा वर्गीकरण और संपादन को सीधे शामिल करना कोई उन्नत सुरक्षा अभ्यास नहीं है। यह विनियमित डेटा के साथ जिम्मेदारी से काम करने के लिए न्यूनतम अभ्यास है। फिर भी गति का दबाव उस न्यूनतम अभ्यास को एक ऐसे कदम में बदल देता है जिसे अनिश्चित काल के लिए टाल दिया जाता है।

---

पहचान हमले के रूप में प्रॉम्प्ट इंजेक्शन

एक दूसरा जोखिम वेक्टर भी है जो एक अलग तर्क के साथ काम करता है। यह इस बात पर निर्भर नहीं करता कि संगठन पाइपलाइन कॉन्फ़िगरेशन में गलतियाँ करे; यह इस बात पर निर्भर करता है कि एजेंट ऐसी बाहरी सामग्री प्रोसेस करे जिसे वह नियंत्रित नहीं करता।

जब कोई एजेंट ईमेल पढ़ता है, उपयोगकर्ताओं द्वारा अपलोड किए गए दस्तावेज़ों का विश्लेषण करता है, वेब पेज ब्राउज़ करता है या मुक्त पाठ पर प्रतिक्रिया देता है, तो उस सामग्री में मॉडल के व्यवहार को हेरफेर करने के लिए डिज़ाइन किए गए विरोधी निर्देश हो सकते हैं। प्रॉम्प्ट इंजेक्शन कोड की किसी खामी का फायदा नहीं उठाता; यह लैंग्वेज मॉडल की प्रायिक प्रकृति का फायदा उठाता है, जो सिस्टम के वैध निर्देशों और उनके द्वारा प्रोसेस किए जाने वाले डेटा में एम्बेड किए गए दुर्भावनापूर्ण पाठ के बीच अंतर नहीं करता।

जो बात इस वेक्टर को विशेष रूप से महंगा बनाती है, वह इसकी परिष्कृतता नहीं, बल्कि इसकी पहुँच है। सुरक्षा शोधकर्ताओं ने ऐसे हमलों का दस्तावेजीकरण किया है जो एजेंटों को टूल कॉल के माध्यम से संवेदनशील डेटा लीक करने के लिए प्रेरित करते हैं जिन्हें निष्पादित करने के लिए एजेंट के पास स्वयं अधिकार है। सिस्टम के नजरिए से, एजेंट सामान्य रूप से व्यवहार करता दिखता है। हमलावर के नजरिए से, एजेंट अपने स्वयं के वैध विशेषाधिकारों का उपयोग करके क्रेडेंशियल या ग्राहक रिकॉर्ड को बाहर निकाल रहा है।

यहाँ विश्लेषण का सबसे असहज बिंदु है: एजेंट को क्लासिक अर्थ में समझौता नहीं किया गया। नेटवर्क में कोई घुसपैठ नहीं हुई। बाहर से कोई विशेषाधिकार वृद्धि नहीं हुई। एजेंट ने बस वही किया जो करने के लिए उसे अधिकृत किया गया था, उन निर्देशों के मार्गदर्शन में जिनका उसे पालन नहीं करना चाहिए था। हमले की सतह पहले से मौजूद थी; उसे केवल सक्रिय करने की आवश्यकता थी।

यदि एजेंट लंबे समय की स्थैतिक क्रेडेंशियल के साथ, आंतरिक सिस्टम तक अप्रतिबंधित पहुँच के साथ और एप्लिकेशन लेयर पर व्यवहार फ़िल्टर के बिना काम करता है, तो बुनियादी ढाँचे में कोई भी सख्ती (hardening) इस समस्या का समाधान नहीं करती। और अधिकांश वर्तमान तैनाती में, ये तीनों शर्तें एक साथ पूरी होती हैं।

---

पहचान प्रबंधन की वह समस्या जिसे किसी ने अपडेट नहीं किया

72% प्रौद्योगिकी पेशेवर पहले से ही मानते हैं कि AI एजेंट पारंपरिक मशीन पहचानों की तुलना में व्यावसायिक संचालन के लिए अधिक जोखिम पैदा करते हैं। फिर भी अधिकांश संगठन एजेंटों के विशेषाधिकारों का प्रबंधन उन्हीं ढाँचों से करते हैं जिन्हें उन्होंने सेवा खातों या मानव उपयोगकर्ताओं के लिए डिज़ाइन किया था।

वे ढाँचे स्वायत्त इकाइयों के लिए नहीं बनाए गए थे जो मशीन की गति से निर्णय लेती हैं, जो एक साथ कई सिस्टम में काम करती हैं और जिन्हें अपने मूल इरादे से परे कार्रवाई करने के लिए हेरफेर किया जा सकता है। यह अंतर क्रमिक नहीं है; यह गुणात्मक है।

उस असंगति का पहला व्यावहारिक परिणाम अति-प्रावधान (over-provisioning) है। एजेंटों को सिस्टम तक व्यापक पहुँच मिलती है क्योंकि उदार अनुमतियाँ देना इससे आसान है कि यह सटीक रूप से मैप किया जाए कि एजेंट को प्रत्येक विशिष्ट कार्य के लिए किस जानकारी की आवश्यकता है। न्यूनतम विशेषाधिकार का सिद्धांत कॉर्पोरेट सुरक्षा नीति के सभी दस्तावेज़ों में एक अवधारणा के रूप में मौजूद है, लेकिन AI एजेंटों के लिए इसका कार्यान्वयन अधिकांशतः लंबित है।

दूसरा परिणाम अपारदर्शिता है। एजेंट दिनों या हफ्तों तक ऐसी कार्रवाइयाँ करते हुए काम कर सकते हैं जिनकी किसी मानव द्वारा विस्तार से समीक्षा नहीं की जाती। प्रमाणीकरण के लिए वे जिन स्थैतिक क्रेडेंशियल का उपयोग करते हैं, वे समझौता की जा सकती हैं और कोई भी इसे तब तक नहीं पकड़ता जब तक नुकसान हो नहीं जाता। इसके सामने, कम जीवनकाल की गतिशील क्रेडेंशियल एक ठोस और आज उपलब्ध नियंत्रण का प्रतिनिधित्व करती हैं: यदि कोई हमलावर मिनटों या घंटों की समाप्ति समय वाली क्रेडेंशियल को निकालने में सफल होता है, तो शोषण की खिड़की उस API कुंजी की तुलना में नाटकीय रूप से कम हो जाती है जो महीनों से सक्रिय है।

95% संगठन बताते हैं कि एजेंटों और सिस्टम के बीच संचार के लिए मानकीकृत प्रोटोकॉल तैनाती में उनके विश्वास को बेहतर बनाएंगे। यह डेटा तकनीकी अपेक्षाओं की बात नहीं करता; यह बताता है कि टीमें महसूस करती हैं कि वे अपने पैरों तले ठोस ज़मीन के बिना काम कर रही हैं। मानकों की अनुपस्थिति प्रत्येक संगठन को शुरू से अपने स्वयं के नियंत्रण डिज़ाइन करने के लिए मजबूर करती है, जिससे असंगत परिणाम मिलते हैं और बाहरी संदर्भों से तुलना करने की क्षमता नहीं रहती।

---

वह घर्षण जिसे हल करने के लिए कोई भी AI प्रदाता प्रोत्साहित नहीं है

एक संरचनात्मक तनाव है जो इस पूरी चर्चा में व्याप्त है और जिसे शायद ही कभी स्पष्ट रूप से नाम दिया जाता है। लैंग्वेज मॉडल प्रदाताओं के पास एकीकरण को सरल बनाने, अपनाने के घर्षण को कम करने और प्रोसेस किए गए डेटा की मात्रा को अधिकतम करने के प्रोत्साहन हैं। डेटा पाइपलाइन की सुरक्षा, संवेदनशील जानकारी का वर्गीकरण और विशेषाधिकारों का विस्तृत प्रबंधन — ये जिम्मेदारियाँ तैनात करने वाले पक्ष पर आती हैं, न कि मॉडल प्रदान करने वाले पक्ष पर।

इससे एक ऐसी गतिशीलता बनती है जहाँ अपनाने की आसानी और तैनाती की सुरक्षा विपरीत दिशाओं में चलती हैं। एजेंट को आंतरिक डेटा से जोड़ना जितना आसान होता है, उतनी ही अधिक संभावना होती है कि वह कनेक्शन पर्याप्त नियंत्रणों के बिना बनाया जाएगा। त्वरित ऑनबोर्डिंग के साथ कोई अनिवार्य सुरक्षा चेकलिस्ट नहीं आती; यह एकीकरण दस्तावेज़ीकरण के साथ आती है जो इस बात पर प्रकाश डालती है कि मॉडल क्या कर सकता है, न कि तब क्या गलत हो सकता है जब वह ऐसी जानकारी प्रोसेस करता है जो उसे नहीं मिलनी चाहिए थी।

जो संगठन उत्पादन में एजेंट बना रहे हैं, उन्हें डेटा पाइपलाइन सुरक्षा को शुरुआत से एक डिज़ाइन बाधा के रूप में मानने की आवश्यकता है, न कि बाद के ऑडिट चरण के रूप में। इसका मतलब है यह मान लेना कि विनियमित डेटा लीक को ठीक करने की लागत — GDPR जुर्माने, प्रतिष्ठा क्षति और ग्राहक विश्वास की हानि के संदर्भ में — पहले स्प्रिंट से ही संवेदनशील फ़ील्ड संपादन, गतिशील क्रेडेंशियल और एप्लिकेशन लेयर पर व्यवहार नियंत्रण लागू करने की लागत से कहीं अधिक है।

तैनाती की वह गति जो शुरुआत में ये निर्णय लेने से बलिदान होती है, पुनः प्राप्त की जा सकती है। डेटा लीक के बाद ग्राहक का विश्वास, बहुत कम।

कॉर्पोरेट अपनाने का मनोविज्ञान वर्तमान की दृश्यमान लागतों — धीमापन, अतिरिक्त जटिलता, नियंत्रणों में निवेश — को अधिक आंकता है और भविष्य की उन लागतों को कम आंकता है जिनका अभी तक कोई नाम या तारीख नहीं है। AI एजेंटों को उसी तर्क के साथ तैनात किया जा रहा है, और अंतर यह है कि अब उस तर्क के तहत काम करने वाली इकाइयाँ ऐसे इंसान नहीं हैं जो थकते हैं, सवाल करते हैं या झिझकते हैं। ये स्वायत्त सिस्टम हैं जो बड़े पैमाने पर, बिना थकान के और उस जोखिम के प्रति बिना किसी जागरूकता के काम करते हैं जो संगठन उनके पीछे जमा कर रहा है।

साझा करें

आपको यह भी पसंद आ सकता है