الخطأ الذي يكبد 67.400 مليون دولار سنويًا
هناك فرق حاسم بين دردشة آلية تبتكر سيرة سياسية ووكيل ذكاء اصطناعي ينفذ أمر شراء استنادًا إلى بيانات مزيفة. في الحالة الأولى، الضرر سمعة وقابل للعكس. في الحالة الثانية، المال قد خرج بالفعل من الحساب.
هذا بالضبط ما يحدث. وفقًا لدراسة من AllAboutAI استشهدت بها Fortune، فإن الخسائر العالمية الناتجة عن أوهام الذكاء الاصطناعي بلغت 67.400 مليون دولار في عام 2024. ليست توقعات نظرية ولا سيناريو مخاطر للمستقبل: بل هي التكلفة المُعترف بها بالفعل لقرارات تم تنفيذها بناءً على معلومات مزيفة أنتجتها نماذج اللغة. تضيف أبحاث Forrester طبقة أخرى: يتحمل كل موظف في الشركة حوالي 14.200 دولار سنويًا من الوقت والموارد المخصصة للتحقق من أو تصحيح أو إلغاء ما أنتجته الذكاء الاصطناعي بشكل خاطئ.
المشكلة ليست جديدة، لكنها الآن مختلفة نوعيًا بعد أن انتقلت أنظمة الذكاء الاصطناعي من الإجابة على الأسئلة إلى تنفيذ الأفعال. نموذج اللغة الذي يتوهم في محادثة هو مساعد غير موثوق. ووكيل مستقل يتوهم أثناء إدارة المراكز في الأسواق المالية هو مصدر لخسائر تشغيلية مباشرة، مع عواقب تنظيمية وسمعية لا يمكن لأي مجلس إدارة تجاهلها.
تصل نسبة الأوهام في الاستشارات المالية إلى 41%، وفقًا لبيانات Aveni.ai التي جمعتها Fortune. لوضع هذه الرقم في السياق: إذا ارتكب محلل بشري أخطاء في 4 من كل 10 تحليلات، لن يتمكن من تجاوز الربع الأول من عمله. لكن، يعمل وكلاء الذكاء الاصطناعي على نطاق وسرعة لا يمكن لأي إنسان الإشراف عليها في الوقت الحقيقي، مما يجعل كل خطأ حدثًا نظاميًا مُحتملًا.
لماذا المشكلة تتعلق بالعمارة، وليس بالإصدارات
تعكس الاستجابة المؤسسية جدية اللحظة. يعمل باحثون من Google DeepMind وMicrosoft وجامعة كولومبيا وt54 Labs على ما تصفه Fortune بأنه "شبكة أمان مالية" حول وكلاء الذكاء الاصطناعي المستقلين. والهدف هو إنشاء بروتوكولات تعترض الأوهام قبل أن تتحول إلى معاملات حقيقية.
ما يجعل هذه المبادرة ذات صلة ليس اسم المؤسسات المعنية، بل التشخيص الضمني الذي تحتويه: المشكلة لا تُحل بإصدار أفضل من النموذج. بل تُحل بطبقة من الحوكمة الخارجية للنموذج.
هذا التمييز مهم استراتيجيًا. على مدى السنوات الثلاث الماضية، عملت الصناعة على افتراض أن المزيد من المعلمات، المزيد من بيانات التدريب، وتعليمات أفضل ستقلل من الأوهام لتصبح غير ملحوظة. تتعارض بيانات السوق مع هذه السرد. فقد قيّم دراسة نشرت في arxiv.org 17 نموذجًا من الذكاء الاصطناعي على 178 مهمة في أسواق العملات المشفرة: بدون أدوات مساعدة، حققت النماذج دقة بنسبة 28%، مقارنة بـ 80% التي يظهرها المحللون البشر في نفس المهام. مع الأدوات، ارتفع الأداء إلى 67.4%، ولكنه كان يحمل عيبًا هيكليًا: كانت النماذج تميل إلى تفضيل عمليات البحث عبر الويب ذات الجودة المنخفضة على المصادر المعتمدة. لم تكن المشكلة في قدرة النموذج على التفكير؛ بل كانت في معاييره لاختيار المعلومات.
هذا الاكتشاف هو جوهر النقاش. لا تظهر الأوهام المالية دائمًا لأن النموذج لا يعرف شيئًا. في العديد من الحالات، يعرف النموذج كيفية الوصول إلى الإجابة الصحيحة لكنه يختار الطريق الخاطئ للحصول على بيانات الإدخال. هذا عيب في هيكل اتخاذ القرار، وأي تحديث للأوزان العصبية لا يحل المشكلة بمفرده.
لقد أدرك السوق ذلك بالفعل. تفيد Gartner بوجود نمو بنسبة 318% في أدوات كشف الأوهام بين عامي 2023 و2025. يشتمل 91% من السياسات المؤسسية الخاصة بالذكاء الاصطناعي الآن على بروتوكولات تخفيف واضحة. لا تنتظر المنظمات تحسين النماذج: إنها تبني طبقات خارجية من الاحتواء لأنها تعلمت أن الانتظار مكلف.
التكلفة الحقيقية ليست في الخطأ، ولكن في السلسلة التي تؤدي إليه
تحليل تكلفة الأوهام فقط من حيث الخسائر المباشرة يعني البقاء في نصف المشكلة. تعمل الأضرار الأعمق على ثلاث طبقات تتغذى على بعضها.
الأولى هي الطبقة التنظيمية. لجنة الأوراق المالية والبورصات في الولايات المتحدة والسلطة المالية في المملكة المتحدة غير قابلتين للتفاوض: الشركات مسؤولة عن مخرجات أنظمة الذكاء الاصطناعي الخاصة بها. "لقد ارتكب الخوارزمية خطأ" ليست دفاعًا صالحًا ضد العقوبة. ويعني ذلك أن كل معاملة يتم تنفيذها بواسطة وكيل مستقل تحمل التوقيع القانوني للمؤسسة التي استخدمته، بغض النظر عن مقدار الإشراف البشري الذي حدث في اللحظة المحددة للخطأ. حالت Air Canada في عام 2023، حيث خسرت الشركة قضية قضائية بسبب معلومات خاطئة من دردشتها الآلية، قد أنشأت سابقة قانونية لا يمكن للقطاع المالي تجاهلها.
الثانية هي الطبقة من الثقة التشغيلية. لقد اتخذ 47% من التنفيذيين قرارات بناءً على محتوى ذكاء اصطناعي تم التعرف عليه لاحقًا على أنه غير صحيح، وفقًا لدراسة AllAboutAI لعام 2025. عندما يحدث ذلك بشكل متكرر، فإن النتيجة ليست أن التنفيذيين يتوقفون عن استخدام الذكاء الاصطناعي: بل يطورون طبقات غير رسمية من التحقق تكلف بالضبط الوقت الذي كان من المفترض أن توفره الأتمتة. يولد الفائض في التحقق انخفاضًا في الإنتاجية بنسبة 22%، مما يدمر جزءًا كبيرًا من القيمة الاقتصادية التي مبررت الاستثمار الأولي في الأتمتة.
الطبقة الثالثة هي الأكثر هدوءًا: تدهور المعايير المؤسسية. عندما يتعلم الفرق عدم الثقة في المخرجات دون معرفة متى يجب الثقة ومتى لا، تكون النتيجة شلل انتقائي. يتم التحقق بشكل مفرط من قرارات المخاطر المنخفضة، وتُستهان بالأخطاء في العمليات عالية السرعة حيث يكون المراجعة البشرية مستحيلة هيكليًا. هذا لا يظهر في أي سطر من الربح والخسارة، ولكن يظهر في جودة القرارات المتراكمة على مدار السنة المالية.
شبكة الاحتواء كميزة تنافسية، وليس كتكلفة امتثال
هناك قراءة خاطئة ينبغي تفكيكها: فكرة أن بروتوكولات الأمان لوكلاء الذكاء الاصطناعي هي عبء تنظيمي يعيق التبني. تشير البيانات في الاتجاه المعاكس.
تقوم المؤسسات التي تستثمر في هياكل الاحتواء، بما في ذلك طبقات التحقق الخارجية التي تسعى مشاريع مثل Google DeepMind وشركائها إلى توحيدها، بتحديد موقعها للتشغيل مع وكلاء يتمتعون بقدرة أعلى على الاستقلالية مع مخاطر تشغيلية أقل. إنها ليست أعمال خيرية تكنولوجية: بل هي الشرط المسبق لتوسيع حالات الاستخدام ذات القيمة العالية دون تراكم الالتزامات القانونية والسمعية في العملية.
المنطق الاقتصادي مباشر. إذا كانت 41% من الاستشارات المالية للذكاء الاصطناعي تُولد مخرجات قد تكون خاطئة، فإن تكلفة عدم وجود طبقة احتواء تنمو بالتناسب مع حجم العمليات الآلية. على نطاق صغير، يكون الخطأ قابلاً للإدارة والتصحيح. على نطاق الآلاف من المعاملات اليومية، يتحول إلى خصم نظامي. ستقوم الشركات التي تحل هذه المشكلة قبل أن يطلب السوق ذلك من خلال التنظيم بمواجهة ميزة زمنية لا يمكن للخلفاء شراؤها بعد ذلك.
المرحلة التي يمر بها هذا السوق هي حالة من خيبة الأمل الإنتاجية داخل دورة تبني الذكاء الاصطناعي المستقل: اللحظة التي تصطدم خلالها الوعود الأولية بالحدود التشغيلية وتلزم ببناء البنية التحتية الداعمة التي كان يجب أن تكون موجودة منذ البداية. هذه البنية التحتية، بمجرد بنائها، لا تقلل فقط المخاطر: بل تقلل من التكلفة الحدية لإضافة وكلاء جدد إلى النظام، مما يحول الأمان إلى مسرع للنمو.
النماذج التي تعامل الاعتمادية كميزة للمنتج، وليس كتكلفة للامتثال، هي الوحيدة التي ستسمح للذكاء الاصطناعي بتعزيز الحكم البشري بدلاً من فرض الفرق لتعويض أخطائه.
