مصنع القرارات الذي لا يتم الإشراف عليه
في جبهات القتال في أوكرانيا، يقوم المبرمجون بتحويل الطائرات المسيرة "FPV" رخيصة الثمن إلى مقذوفات موجهة بواسطة الذكاء الاصطناعي. العملية بسيطة تقنيًا: يتم تدريب نموذج باستخدام صور للأهداف، ويُدمج الخوارزم في العتاد، فتتخذ الطائرة قرارها الخاص بالاصطدام دون تدخل بشري في الثواني الأخيرة. تتسارع روسيا وإيران والولايات المتحدة في برامجها الخاصة في نفس الاتجاه. ووفقًا لما ذكرته مجلة فوربس، فإن آفاق الأسلحة القاتلة الذاتية لم تعُد نظرية؛ بل إنها تحدث الآن في الساحة المفتوحة، مع مكونات مدنية وفرق تطوير تعمل تحت ضغط زمن شديد.هذه ليست قضية عسكرية فقط. إنها الحالة الأكثر تطرفًا المتاحة حول ما يحدث عندما يتم نشر نظام قرار ذاتي دون تنوع في طاولة التصميم، ودون تدقيق في التحيزات، ودون آليات تصحيح موزعة.
الفريق المتجانس كضعف تصميمي
عندما تكون فرق تطوير أنظمة ذاتية متجانسة —من حيث التعليم، الأصل، الخبرة التشغيلية، والمنظور الثقافي— تنتج نماذج تعمل بشكل جيد داخل السيناريوهات التي تخيلوها هم أنفسهم. المشكلة الهيكلية هي أنهم لا يتخيلون ما لا يعرفونه.في سياقات النزاع، يتحول ذلك إلى إيجابيات خاطئة مع عواقب قاتلة.
في السياقات المؤسسية، يتحول إلى منتجات تعمل لقطاع معين وتتميز بشكل منهجي ضد آخر.
البيانات حول ذلك ليست جديدة ولا هامشية. وثقت الأبحاث في الرؤية الحاسوبية قبل سنوات أن بعض نماذج التعرف على الوجه كانت لديها معدلات خطأ أعلى بين عشرة وعشرين نقطة مئوية في وجوه النساء ذوات البشرة الداكنة مقارنة بالرجال ذوي البشرة الفاتحة.
لم تكن الأسباب سوء نية: بل كانت مجموعات التدريب تعكس التركيبة السكانية لمن قاموا ببناء وتصنيف البيانات. كان فريق أكثر تنوعًا، يتمتع بوجهات نظر مختلفة منذ مرحلة التصميم، قد رصد ذلك التحيز قبل النشر.
أتمتة القرار لا تلغي التحيز: بل تضخمه
هناك وهم تشغيلي يستمر في مجالس الإدارة التكنولوجية: أن تفويض القرار إلى خوارزم يجعله موضوعيًا. تكمن هذه الوهم في كلفته.لا يتخذ الخوارزم قرارات؛ بل يعيد إنتاج الأنماط الإحصائية المستخرجة من البيانات التاريخية.
إذا كانت تلك البيانات تحتوي على تحيزات، يعزز النموذج تلك التحريفات بكفاءة لا يمكن لأي إنسان مضاهاةها.
في حالة أنظمة الأسلحة الذاتية التي تتشكل في أوكرانيا، فإن سرعة النشر هي العامل الأكثر قلقًا من منظور تصميم القرار.
تعمل فرق التطوير تحت ضغط تكتيكي فوري. لا يوجد وقت لمراجعات خارجية، ولا لتضمين وجهات نظر المجتمعات المتأثرة، ولا لاختبارات مواجهات في ظروف متنوعة.
تُبنى الأنظمة بسرعة وتُستخدم بسرعة، ويتم تصحيحها —إذا جرى تصحيحها— بعد الفشل الأول.
تكلفة الطاولة الصغيرة تصل قبل المتوقع
تعد أوكرانيا وإيران مختبرات للسرعة القصوى.ما يحدث هناك، من حيث ضغط دورة التصميم والنشر والفشل، سيصل إلى القطاع الخاص بنفس المنطق ومع جزء من التدقيق العام.
الفرق بين نظام يفشل وآخر يعمل بشكل جيد لا يتمثل في ميزانية التطوير؛ بل في تنوع وجهات النظر التي ساهمت في تحديد ما هو الخطأ ولمن.
ستظل المؤسسات اليوم التي تعتمد أنظمة الذكاء الاصطناعي مع فرق إدارية تتشارك نفس الخلفية الأكاديمية ونفس القطاع الجغرافي تبني نماذج مع نقاط عمياء متوقعة.
