वह निर्णय कारखाना जिसे कोई देख नहीं रहा
यूक्रेन के युद्ध मैदानों पर, प्रोग्रामर कम लागत वाले FPV ड्रोन को कृत्रिम बुद्धिमत्ता द्वारा संचालित गाइडेड प्रक्षेपास्त्र में बदल रहे हैं। यह प्रक्रिया तकनीकी रूप से आसान है: लक्ष्यों की छवियों के साथ एक मॉडल प्रशिक्षित किया जाता है, एल्गोरिदम को हार्डवेयर में एम्बेड किया जाता है, और ड्रोन बिना किसी मानव हस्तक्षेप के अंतिम क्षणों में अपनी खुद की टकराव का निर्णय लेता है। रूस, ईरान और अमेरिका अपने-अपने कार्यक्रमों को इसी दिशा में गति दे रहे हैं। फोर्ब्स की रिपोर्ट के अनुसार, घातक स्वायत्त हथियारों के क्षितिज अब केवल परिकल्पना नहीं रहे; यह खुली दिशा में हो रहा है, नागरिक घटकों और विकास उपकरणों के साथ जो अत्यधिक समय के दबाव में काम कर रहे हैं। यह केवल एक सैन्य समाचार नहीं है। यह एक अध्ययन के लिए अत्यधिक चरम मामला है कि जब एक स्वायत्त निर्णय प्रणाली को विभिन्नता के बिना तैनात किया जाता है, पूर्वाग्रह के मूल्यांकन के बिना और बिना किसी वितरित सुधार के तंत्र के, तो क्या होता है। और यह जो पैटर्न प्रकट करता है, वह आज हर बोर्डरूम में प्रत्यक्ष समानताएं रखता है, जहां कोई भी IA प्रणाली को भर्ती, क्रेडिट, लॉजिस्टिक्स या ग्राहक सेवा के लिए स्वीकृत कर रहा है। स्वायत्त कमिकेज़ ड्रोन और क्रेडिट स्कोरिंग एल्गोरिदम में जो मुख्य अंतर है, वह प्रणाली की प्रकृति नहीं है, बल्कि जब वह विफल होती है तब का क्षति का परिमाण है। दोनों ने सीखे गए पैटर्न के आधार पर अपरिवर्तनीय निर्णय लिए। दोनों गणितीय सटीकता के साथ, उन्हें बनाने वालों के पूर्वाग्रह को दर्शाते हैं।समान टीमों की डिजाइन में कमजोरी
जब स्वायत्त प्रणाली के विकास प्रोग्रामर एक समान होते हैं — उनकी शिक्षा, उत्पत्ति, परिचालन अनुभव और सांस्कृतिक दृष्टिकोण में — वे ऐसे मॉडल का निर्माण करते हैं जो उन परिदृश्यों में अच्छा काम करते हैं जिन्हें उन्होंने स्वयं कल्पित किया। संरचनात्मक समस्या यह है कि वे उस चीज़ की कल्पना नहीं करते हैं जो वे नहीं जानते। संघर्ष के संदर्भ में, इसका परिणाम ऐसी गलत सकारात्मकता है जिनके घातक परिणाम होते हैं। कॉर्पोरेट संदर्भ में, यह उन उत्पादों का परिणाम है जो एक वर्ग के लिए कार्य करते हैं और दूसरे को प्रणालीगत रूप से भेदभावित करते हैं। इस पर डेटा नया या सीमांत नहीं है। कंप्यूटर दृष्टि में शोध ने कई साल पहले यह प्रलेखित किया कि कुछ चेहरे की पहचान मॉडल में महिलाओं के गहरे रंग की त्वचा वाले चेहरों की गलती की दर हल्के रंग के पुरुषों की तुलना में दस से बीस प्रतिशत अधिक थी। इसकी वजह दुष्कर्म नहीं थी: प्रशिक्षण सेट उन लोगों की जनसंख्या को दर्शाता था, जिन्होंने डेटा को बनाया और लेबल किया। एक अधिक विविध टीम, जो डिजाइन चरण में विभिन्न दृष्टिकोणों तक पहुंच रखती, इस पूर्वाग्रह का पता पहले तैनाती से लगा लेती। न ही नैतिक कारणों से, बल्कि इसलिए कि किसी ने कमरे में कहा होता "वह डेटा सेट मुझे नहीं दर्शाता" और यही मॉडल की वैधता को प्रश्न में लाने के लिए पर्याप्त होता। स्वायत्त ड्रोन के संदर्भ में लागू किया गया: वे मॉडल जो विशेष संचालन थिएटर की स्थितियों में प्रशिक्षित होते हैं, उन इंजीनियरों द्वारा जो उस विशेष संदर्भ में अनुभव रखते हैं, वे ऐसी प्रणालियाँ उत्पन्न करेंगे जो उस परिदृश्य में अच्छा काम करती हैं और अन्य में अप्रत्याशित तरीकों से विफल होती हैं। ईरान अपनी स्वयं की वर्गीकरण की तर्कशास्त्र के साथ अपने स्वयं के सिस्टम विकसित करेगा। परिणाम केवल भूगर्भीय अस्थिरता नहीं है; यह प्रदर्शित करता है कि उच्च जोखिम वाले एल्गोरिदम के डिजाइन में समानता एक इंजीनियरिंग की असफलता है, न कि एक वैचारिक स्थिति।स्वातंत्र निर्णय को स्वचालित करना पूर्वाग्रह को समाप्त नहीं करता: यह उसे बढ़ा देता है
एक ऑपरेशनल भ्रांति है जो तकनीकी बोर्ड में बनी हुई है: कि किसी निर्णय को एक एल्गोरिदम को सौंपने से वह वस्तुनिष्ठ हो जाती है। यह भ्रांति महंगी है। एक एल्गोरिदम निर्णय नहीं लेते; यह ऐतिहासिक डेटा से खींचे गए सांख्यिकीय पैटर्न को पुनरुत्पादित करते हैं। यदि वे डेटा पूर्वाग्रहित हैं, तो मॉडल को एक ऐसी दक्षता के साथ बढ़ाया जाता है जिसे कोई मानव नहीं दे सकता। यूक्रेन में आकार ले रहे स्वायत्त हथियार प्रणालियों के मामले में, तैनाती की गति सबसे चिंता का विषय है। विकास टीमें तत्काल सामरिक दबाव के तहत काम कर रही हैं। बाहरी ऑडिट के लिए समय नहीं है, प्रभावित समुदायों के दृष्टिकोण को शामिल करने के लिए, विभिन्न स्थितियों में प्रतिकूल परीक्षणों के लिए। सब कुछ तेजी से बनाया जाता है, तेजी से अधिक किया जाता है, और पहली अशुद्धि के बाद ही सुधार किया जाता है — यदि किया जाता है। इस पैटर्न का कॉर्पोरेट जोखिम प्रबंधन में एक सटीक नाम है: तकनीकी ऋण सामाजिक बाह्यताओं के साथ। और इसकी लागत उस टीम द्वारा नहीं दी जाती जो सिस्टम का निर्माण करती है; इसका भुगतान वे करते हैं जो डिजाइन चर्चा से बाहर रह गए हैं। घातक स्वायत्त हथियारों की दौड़ रिपोर्ट पर नहीं रुकेगी। जो चीज बदली जा सकती है, वह है सेना के साथ-साथ किसी भी कॉर्पोरेशन में जो स्वायत्त निर्णय प्रणालियों को तैनात करता है, यह कि कौन बार में बैठा है जब यह परिभाषित किया जाता है कि मॉडल को क्या अनुकूलित करता है, इसे कौन सा डेटा प्रशिक्षण देता है, और क्या स्वीकार्य त्रुटि होती है। ये तीन प्रश्न दार्शनिक नहीं हैं; वे उत्पाद इंजीनियरिंग के हैं। और उनके जवाब सीधे उस टीम की सांस्कृतिक, परिचालन और संज्ञानात्मक विविधता पर निर्भर करते हैं जो उन पर उत्तर देती है। जो संगठन आज IA सिस्टम को अनुमोदित करते हैं, जिनकी बोर्ड सदस्य समान शिक्षा, समान क्षेत्र की उत्पत्ति और समान भूगोल साझा करते हैं, वे ऐसे मॉडलों का निर्माण कर रहे हैं जिनमें पूर्वानुमेय दृष्टिहीनताएँ हैं। न कि इसलिए कि वे लापरवाह हैं, बल्कि इसलिए कि समानता ने पूर्वाग्रहों के सामंजस्य का उत्पादन किया। और साझा पूर्वाग्रह सवाल नहीं खड़े करते; वे तब तक अदृश्य हो जाते हैं जब तक सिस्टम युद्ध के मैदान में विफल नहीं हो जाता।छोटे टेबल की लागत पहले से ही आ चुकी है
यूक्रेन और ईरान अत्यधिक गति के प्रयोगशाला हैं। जो कुछ वहाँ हो रहा है, डिजाइन-तैनाती-गलती के चक्र की संकुचन के संदर्भ में, यह निजी क्षेत्र में इसी लॉजिक के साथ आएगा और इसके लिए सामान्य सार्वजनिक समीक्षा का एक भाग होगा। वे कंपनियाँ जो आज मानव संसाधन, वित्तीय सेवाओं, स्वास्थ्य या लॉजिस्टिक्स के लिए स्वायत्त निर्णय प्रणाली बना रही हैं, उन पर तेजी के दबावों के तहत कार्य कर रही हैं जो तकनीकी युद्ध के मोर्चे की तरह हैं: जो पहले तैनात होता है, वह बाजार को पकड़ता है, और सुधार बाद में आते हैं।एक प्रणाली में जो विफल होती है और एक जो सही ढंग से स्केल करती है, के बीच का अंतर विकास के बजट में नहीं है; यह उस दृष्टिकोण की चौड़ाई में है जो यह निर्धारित करने में मदद करती है कि एक त्रुटि क्या है और किसके लिए। एक टीम जिसने कभी प्रणालीगत बहिष्कार का अनुभव नहीं किया, वह प्रणालीगत बहिष्कार के खिलाफ बचाव नहीं डिज़ाइन करती। न ही क्योंकि वे नहीं चाहते, बल्कि इसलिए कि उनके पास उस क्षेत्र का नक्सा नहीं है।
जो संगठन प्रतिभा के विविध नेटवर्क के साथ होते हैं — जो भरोसेमंद रिश्तों और पारस्परिक योगदान पर आधारित होते हैं, न कि सजावटात्मक भर्ती पर — उन्हें उन क्षेत्रों की बुद्धिमत्ता तक पहुंच होती है जो समान टीमें खरीद नहीं सकतीं। यह बुद्धिमत्ता डेटा सेट्स में नहीं दिखाई देती; यह तब दिखाई देती है जब कोई विभिन्न अनुभव वाला व्यक्ति तैनाती से पहले कहता है कि मॉडल में कोई ऐसी समस्या है जिसे टीम ने नहीं देखा।
वह प्रबंधक जो अपनी अगली बोर्ड बैठक में पहुंचता है और पाता है कि मेज पर सभी लोग समान शैक्षिक पृष्ठभूमि, समान विशेषज्ञता का क्षेत्र और समान भूगोल साझा करते हैं, वह सांस्कृतिक संयोग का सामना नहीं कर रहा है: वह ऐसी जोखिम आर्किटेक्चर का सामना कर रहा है जो न तो बीमा द्वारा कवरेज की जाती है और न ही कोई एल्गोरिदम स्वायत्त रूप से पहचानता है। वह छोटी टेबल न केवल एक एकता का प्रतीक है; यह उन दृष्टिहीनताओं की छवि है, जिनका बाजार उस समय तक दोहन करेगा जब तक बोर्ड इन्हें पहचान नहीं लेता।
