لوحة المفاتيح الذكية من أبل والتحيز الذي لا يريد أحد سداده

البيانات التي يحتفل بها الجميع والخطر الذي لا يذكره أحد

تجرب أبل داخليًا ميزة جديدة للوحة مفاتيح آيفون تحت نظام أي أو إس 27: اقتراحات لكلمات بديلة مدعومة بالذكاء الاصطناعي، مصحوبة بتحسينات في التصحيح التلقائي. وفقًا لتقرير TechRepublic، الهدف هو جعل الكتابة أكثر سلاسة وفهمًا وكفاءة. تغطي الأخبار، كما هو معتاد عند إطلاق منتجات الشركة الموجودة في كوبرتينو، بين الإعجاب الفني والحماس الاستباقي من قبل المستهلكين. بصفتي محللاً في التنوع والموارد الاجتماعية، ولست مهندسة عالمية، فإنني أقرأ هذا الخبر من منظور يتجنبه فرق المنتجات تقليديًا بصدق: تحيز التدريب كمخاطر عمل وليس كمشكلة أخلاقية تجريدية. عندما يتعلم نظام الذكاء الاصطناعي الكلمات التي يجب اقتراحها وفي أي سياق، لا يتعلم اللغة عالميًا. يتعلم من اللغة التي وفرها الذين قدموا بيانات التدريب، ومن الذين تحققوا من النتائج، ومن اتخذوا قرارات التصميم. هذه السلسلة من القرارات لها ملف ديموغرافي. دائمًا. لدى التصحيح التلقائي للهواتف الذكية تاريخ موثق من الأخطاء التي ليست عشوائية. يتم تصحيح أسماء من أصل أفريقي أو لاتيني أو عربي بشكل متكرر. يقدم بناءً للعبارات التي تعكس اللغة الإنجليزية القياسية الأمريكية كمعيار، ويعتبر أي انحراف خطأ. هذه ليست مشكلة فنية عرضية: إنها نتيجة متوقعة لتدريب النماذج على نصوص مبالغ فيها تتضمن بعض الملفات اللغوية والاجتماعية والاقتصادية. عندما تتوسع أبل عن هذه المنطق مع طبقة إضافية من الذكاء الاصطناعي التي تقترح أيضًا كلمات بديلة، فإن المشكلة لا تختفي: بل تتعمق وتتُرسل.

هيكل النقطة العمياء للشركات

ما يهمني تحليله ليس ما إذا كانت أبل لديها نوايا سيئة، ولكن ما إذا كان لديها الهيكل التنظيمي اللازم لاكتشاف هذه المخاطر قبل وصولها إلى السوق. هذان سؤالان مختلفان تمامًا، والثاني له عواقب مالية قابلة للقياس. تميل الفرق التي تصمم اللغة الحاسوبية إلى أن تكون متجانسة في ملفاتها: تكوين فني مشابه، جغرافيا مشابهة، مسارات مهنية تتشارك نفس نقاط الشبكة. هذا الملف المشترك لا ينتج عن شر، بل ينتج نقاط عمياء منهجية. لا يمكن لفريق يتشارك جميعه نفس السياق اللغوي المرجعي محاكاة تجربة مستخدم لغته الأم هي التاغالو، السواحيلية أو الإسبانية الكاريبية. لا لأنهم يفتقرون إلى التعاطف، ولكن لأنهم يفتقرون إلى المعلومات الهيكلية التي لا توجد إلا في طرف شبكاتهم الخاصة. هذا له تكلفة يمكن قياسها. تدير أبل عملياتها في أكثر من 175 بلدًا. يحظى آيفون بوجود كبير في أسواق حيث اللغة الإنجليزية ليست اللغة السائدة، وحيث تختلف أنماط اللغة بشكل جذري عن النصوص التي تم تدريب نماذجها عليها. كلما اقترحت لوحة المفاتيح الذكية كلمة تعتبر ثقافيًا غير ملائمة أو غير ذات صلة لذلك المستخدم، تضيع أبل فرصة الاحتفاظ بهذا المستخدم. على نطاق مئات الملايين من الأجهزة، تلك الاحتكاكات المتراكمة ليست غذاءً لاستخدام: بل هي تدهور للقيمة. السؤال العملي الذي ينبغي أن يكون مطروحًا على طاولة أي مسؤول إدارة المنتجات أو التكنولوجيا في هذه العملية هو مباشر: كم من الملفات الشخصية التي تحقق في اقتراحات النموذج لديها اللغة الأم شيئًا مختلفًا عن الإنجليزية القياسية؟ إذا كانت الإجابة غير متاحة أو لم يتم صياغتها أبدًا، فإن ذلك يعد تشخيصًا كافيًا.

ما يتعلمه النماذج عندما لا يتم مراجعتها

يوجد آلية فنية تستحق أن تكون مرئية لأنها تعمل باستقلالية عن النوايا المؤسسية. تتعلم نماذج اللغة التي تقوم بإنشاء اقتراحات النص من أنماط إحصائية: ما الكلمات التي تظهر معًا بشكل متكرر، ما الهياكل الأكثر شيوعًا في سياقات محددة، ما البدائل اللغوية التي تتواجد في مستندات مماثلة. عندما لا يكون هذا النص تمثيليًا، لا يتعلم النموذج اللغة؛ بل يتعلم نسخة من اللغة. وتصل تلك النسخة إلى المنتج كما لو كانت محايدة، كما لو كانت معيارًا. المستخدم الذي يكتب بلغة الإسبانية الريو بلاتينية، أو باللغة الإنجليزية مع لمسات هندية أو البرتغالية المحملة باللهجات البرازيلية لا يتلقى لوحة مفاتيح تساعده: بل يحصل على واحدة تصححه إلى معيار ليس له. لدى الصناعة التكنولوجية دليل متراكم حول هذه الظاهرة. أظهرت أنظمة التعرف على الوجه معدلات خطأ أكبر بشكل ملحوظ في وجوه النساء ذوات البشرة الداكنة. كررت نماذج معالجة اللغة الطبيعية التحيزات الجنسانية في ارتباطات الكلمات. عاقبت الأنظمة الأوتوماتيكية لتوظيف السير الذاتية التي تحمل أسماء ذات أصل أفريقي. في كل من هذه الحالات، لم يكن المشكلة في التكنولوجيا بل كانت تجانس الفريق الذي تحقق من تلك التكنولوجيا. لم يقم أحد في الغرفة بالإشارة إلى الخطأ لأن أحدًا في الغرفة لم يشعر به كخطأ. يملك فريق أبل الموارد اللازمة لبناء عمليات مراجعة لغوية بتنوع جغرافي وديموغرافي حقيقي قبل الإطلاق. ما يهم هو ما إذا كانت تلك المراجعة جزء من عملية التطوير أو ما إذا كانت تحدث، في أفضل الأحوال، أنه يتم تصحيحها بعد ذلك عندما يقوم المستخدمون بالإبلاغ عن المشكلة من خلال الدعم الفني. الفرق بين هذين الطريقين ليس فلسفيًا: الأولى تقلل من تكلفة التكرار وتحمي سمعة الإطلاق؛ والثانية تنقلها إلى المستخدم وتحولها إلى بيانات سلبية عن التجربة.

رأس المال الاجتماعي كالبنية التحتية للمنتج

هناك درس هيكلي يتجاوز حالة أبل المحددة وينطبق على أي مؤسسة تقوم بتطوير أدوات ذكاء اصطناعي مع طموح للتوسع العالمي. التنوع في فرق التصميم ليس متغيرًا للموارد البشرية؛ بل هو متغير لجودة المنتج. عندما تكون الفرق مبنية على شبكات متجانسة، حيث يتخرج الجميع من نفس البرامج الدراسية والدراسات العليا، نفس مجتمعات الممارسة ونفس دوائر الإحالات، فإن المعلومات التي تتداول داخل الفريق تكون متكررة. يتشارك الجميع نفس المراجع، نفس الافتراضات حول المستخدم القياسي، ونفس نقاط البداية لتقييم ما إذا كان شيء ما يعمل أم يفشل. ذلك النوع من الشبكة فعال في البيئات المستقرة والقابلة للتنبؤ. في البيئات التي يجب أن يعمل فيها المنتج لملايين الأشخاص في سياقات مختلفة تمامًا، تصبح تلك الكفاءة هشاشة. تعد الشبكات اللامركزية، حيث يتم توزيع الذكاء في ملفات شخصية مختلفة مع الوصول إلى معلومات غير متكررة، أبطأ في بعض العمليات وأكثر صخبًا في المناقشات الداخلية. ومع ذلك، هم الوحيدة القادرة على اكتشاف، قبل الإطلاق، أن النموذج يقترح كلمات تكون مسيئة في منطقة القارة الجنوبية أو غير ذات صلة في جنوب شرق آسيا. إن القدرة على الكشف المبكر تحمل قيمة مالية ملموسة نادراً ما تضمها فرق المنتجات في مقاييس عائد الاستثمار على التنوع. في المرة القادمة التي يتحدث فيها مدير التكنولوجيا عن أن التنوع في الفريق هو هدف طموح على المدى المتوسط، فإن الإجابة التجريبية بسيطة: تكاليف تصحيح تحيز المنتج بعد الإطلاق، بما في ذلك الأضرار السمعة، ودورات العلاقات العامة وفقدان المستخدمين في الأسواق المتضررة، تتجاوز باستمرار تكاليف منع ذلك مع فريق تحقق أكثر تنوعًا منذ البداية.

المصادقة للمدير التنفيذي التي تقر الإطلاق تعني أيضًا المصادقة على حدودها

لا يتم اتخاذ القرار بإطلاق لوحة مفاتيح تعتمد على الذكاء الاصطناعي في السوق العالمية عبر نموذج رياضي. إنما يتم اتخاذه مجموعة من الأشخاص في غرفة، أو في سلسلة من العروض التنفيذية، الذين يقيمون ما إذا كان المنتج جاهزًا. تحمل هذه الأشخاص معهم تجاربهم اللغوية الخاصة، وحدودهم الخاصة لما يتم اعتباره خطأ مقبولاً مقابل خطأ حرج. إذا كان هذا المجموعة من الأشخاص متجانسة هيكليًا، فإن المنتج الذي يوافقون عليه يحمل هذه التجانس في طياته. ليس كنية، لكن كنتيجة لهندسة تنظيمية لم تُصمم لاكتشاف ما لا يستطيع أن يراه مجموعهم. التفويض التنفيذي لأي قيادة على وشك أن توافق على إطلاق أداة لغة تعتمد على الذكاء الاصطناعي محدد: قبل التوقيع على بدء التشغيل، تطلب رؤية الملف الديموغرافي واللغوي للفريق الذي تحقق في اقتراحات النموذج. إذا كان ذلك الملف متجانسًا، فإن المنتج يحتوي على ديون تقنية ستحصل عليها السوق مع فوائد. إن الإدارات التي تنظر فقط إلى مقاييس أداء النموذج دون مراجعة تكوين الفريق الذي دربه تصادق على هشة هيكلية متنكرة في صورة تقدم تقني. تأمل في مكتبك قبل الإطلاق القادم: إذا كان الجميع في الطاولة يتشاركون نفس اللكنة ونفس المسار ونفس اللغة الأم، فأنت تعرف تمامًا ما المخاطر التي لا يرونها.