मापना ही स्केलिंग का रास्ता है: वह समस्या जो एंटरप्राइज़ AI को रोक देती है
दो साल पहले, मेरे परिचित अधिकांश वरिष्ठ अधिकारी इस बात पर बहस करते थे कि कौन सा लैंग्वेज मॉडल चुना जाए। आज, जिन्होंने वह निर्णय ले लिया है — और फिर भी निवेश के दूसरे दौर को उचित नहीं ठहरा पा रहे — वे समझने लगे हैं कि समस्या कभी मॉडल नहीं था। समस्या थी मापन।
एंटरप्राइज़ क्षेत्र पिछले कई वर्षों से तेज़ रफ़्तार से आर्टिफिशियल इंटेलिजेंस अपना रहा है। McKinsey के अनुसार, 88% संगठनों ने AI को कम से कम एक व्यावसायिक कार्य में शामिल कर लिया है। लेकिन उनमें से केवल एक-तिहाई ने इसे निरंतरता के साथ स्केल करना शुरू किया है। यह अंतर — प्रयोग करने और स्केल करने के बीच — तकनीकी नहीं है। यह संगठनात्मक है, और यह एक ऐसी बातचीत से उत्पन्न होता है जिसे अधिकांश नेतृत्व टीमें स्पष्टता के साथ करने से बचती रही हैं: यह कि परिचालन और वित्तीय दृष्टि से, "यह काम करता है" का क्या अर्थ है।
Sustainabl में हम लंबे समय से देख रहे हैं कि कंपनियाँ AI में निवेश के अपने मामले कैसे बनाती हैं। हम जो सबसे अधिक देखते हैं वह तकनीकी अक्षमता नहीं है। यह परतों की एक उलझन है: जो कुछ विक्रेता देता है — मानकीकृत परीक्षणों में स्कोर, लैब में सटीकता, तुलनात्मक रैंकिंग — वह मापा जाता है, और वह एकमात्र चीज़ मापना भुला दिया जाता है जो बोर्ड को देखनी होती है: व्यवसाय में क्या बदला।
बेंचमार्क का जाल और नेतृत्व के बारे में यह क्या उजागर करता है
जब कोई नेतृत्व टीम संदर्भ स्कोर की तुलना करके AI मॉडल का मूल्यांकन करती है, तो वह उसी गलती को दोहरा रही होती है जो तकनीकी दुनिया ने नब्बे के दशक में सर्वर के साथ की थी: परिणामों की जगह विशेषताएँ खरीदना। समस्या यह नहीं है कि बेंचमार्क बेकार हैं। समस्या यह है कि वे एक अलग सवाल का जवाब देते हैं।
बेंचमार्क मापते हैं कि एक मॉडल नियंत्रित परिस्थितियों में, मानकीकृत कार्यों को कितनी अच्छी तरह हल करता है — ऐसे डेटा के साथ जिसका आपके व्यवसाय के वास्तविक प्रवाहों, आपके स्वामित्व वाले ज्ञान आधार या आपके विशिष्ट सीमावर्ती मामलों से कोई लेना-देना नहीं है। उत्पादन में जो होता है — आपके डेटा के साथ, पहले से मौजूद प्रक्रियाओं के साथ, और रोज़ाना इंटरैक्ट करने वाले उपयोगकर्ताओं के साथ — वह उन मेट्रिक्स से 15 से 25 प्रतिशत अंक तक भिन्न हो सकता है। यह अंतर कोई तकनीकी विवरण नहीं है। यह एक विक्रेता के वादे और एक व्यावसायिक परिणाम के बीच की दूरी है।
यहाँ मेरी रुचि मॉडल की इंजीनियरिंग में नहीं है। मेरी रुचि इस बात में है कि जब संगठन नई तकनीक का सामना करते हैं तो यह भ्रम उनके संचालन के तरीके के बारे में क्या उजागर करता है। एक बार-बार दिखने वाला पैटर्न है: अनिश्चितता के सामने, नेतृत्व सफलता के मानदंड को तकनीकी क्षेत्र पर थोपता है। इंजीनियरों की भाषा — प्रिसीज़न, रिकॉल, F1 स्कोर — को व्यवसाय की भाषा में अनुवाद किए बिना अपना लिया जाता है। और यह इसलिए नहीं होता क्योंकि नेतृत्व अक्षम है। यह इसलिए होता है क्योंकि किसी ने इस असहज बातचीत को नहीं करना चाहा कि इस निवेश में विफलता का क्या अर्थ होगा।
उस बातचीत की एक कीमत होती है। जब कोई AI प्रोजेक्ट 90 दिनों के बाद किसी भी परिचालन संकेतक में कोई हलचल नहीं दिखा पाता, तो बहस विश्लेषणात्मक होने से पहले राजनीतिक हो जाती है। हर विभाग अपनी व्याख्या का बचाव करता है, कोई भी परिणाम का ज़िम्मेदार नहीं बनना चाहता, और प्रोजेक्ट जड़ता से टिका रहता है या निराशा से रद्द हो जाता है। दोनों परिणाम टाले जा सकते हैं यदि नेतृत्व टीम शुरुआत से ही — मॉडल चुनने से पहले, विक्रेता चुनने से पहले — तय करे कि कौन से व्यावसायिक संकेतक बदलेंगे और कितने।
एक वित्त निदेशक को क्या सुनने की ज़रूरत है
AI निवेश प्रस्तावों की समीक्षा करते समय मैं मानसिक रूप से एक परीक्षण लागू करता हूँ: कल्पना करें कि वित्त निदेशक तैनाती के बारह महीने बाद व्यावसायिक मामले को पढ़ रहा है। यदि दस्तावेज़ केवल यही दिखा सकता है कि मॉडल ने तर्क बेंचमार्क में 93% स्कोर किया, तो प्रोजेक्ट खतरे में है। इसलिए नहीं कि वह संख्या अप्रासंगिक है, बल्कि इसलिए कि यह उन सवालों में से किसी का भी जवाब नहीं देती जो वित्त निदेशक दूसरे साल के बजट को मंज़ूरी देते समय पूछता है।
असली सवाल ये हैं: प्रति मामले में समाधान का समय कितना कम हुआ, पहले संपर्क में समाधान की दर कितनी बेहतर हुई, AI-सहायता प्राप्त इंटरैक्शन की तुलना में पूरी तरह मैन्युअल इंटरैक्शन की प्रति लागत क्या रही, नए एजेंटों को स्वीकार्य परिचालन स्तर तक पहुँचने में कितना समय लगा। ये मेट्रिक्स मॉडल नहीं देता। इन्हें सिस्टम की पूरी आर्किटेक्चर देती है: डेटा की गुणवत्ता, सूचना पुनर्प्राप्ति का डिज़ाइन, एकीकरण विलंबता, नियंत्रण तंत्र। मॉडल उस सिस्टम के भीतर एक वेरिएबल है। अक्सर, यह सबसे निर्णायक वेरिएबल नहीं होता।
उत्पादन में जो मापा जाता है — कंपनी के अपने डेटा के विरुद्ध और व्यवसाय के वास्तविक सीमावर्ती मामलों के साथ — वही तय करता है कि समाधान मूल्य देता है या नहीं। एक अधिक सादा मॉडल, जो विशिष्ट ज्ञान आधार और ग्राहक के भाषाई पैटर्न के अनुसार बेहतर कैलिब्रेट किया गया हो, लगातार उस मॉडल से बेहतर प्रदर्शन कर सकता है जो अधिक परिष्कृत है लेकिन उस संदर्भ के लिए कभी समायोजित नहीं किया गया। मैंने इसे सार्वजनिक उपयोगिता सेवा क्षेत्र के संपर्क केंद्रों में होते देखा है: बेंचमार्क का "विजेता" मॉडल अंततः एक सरल मॉडल द्वारा प्रतिस्थापित किया गया जो ग्राहकों की वास्तविक पूछताछ में बेहतर प्रदर्शन करता था।
इसका निहितार्थ सीधा है: मॉडल के साथ एक परस्पर विनिमेय घटक की तरह व्यवहार किया जाना चाहिए, न कि प्रोजेक्ट की पहचान की तरह। जो संगठन अपनी आर्किटेक्चर उस तर्क के साथ डिज़ाइन करते हैं — मॉडल परत को एप्लिकेशन परत से अलग करते हुए — वे पूरे समाधान को ध्वस्त किए बिना एक मॉडल को बदल सकते हैं। जो नहीं करते, वे एक तकनीकी निर्भरता में फँस जाते हैं जो किसी भी भविष्य के सुधार को महँगा बना देती है।
तीन परतों का एक ढाँचा जो बजट चक्रों से बचता है
औद्योगिक और सेवा क्षेत्रों में कई तैनाती देखने के बाद, जो मापन संरचना सबसे अधिक टिकाऊ साबित होती है वह सबसे परिष्कृत नहीं है। यह वह है जो पूरी कमान श्रृंखला के लिए — तकनीकी टीम से लेकर बोर्ड ऑफ डायरेक्टर्स तक — सबसे अधिक पठनीय है।
पहली परत उत्पादन में सटीकता मापती है: सिस्टम द्वारा उत्पन्न परिणामों का कितना प्रतिशत बिना मानवीय सुधार के सही है, कंपनी के वास्तविक डेटा और उसके सीमावर्ती मामलों के विरुद्ध मापा गया। विक्रेता द्वारा रिपोर्ट की गई सटीकता नहीं। वह सटीकता जो उपयोगकर्ताओं और आंतरिक विशेषज्ञों के साथ वास्तविक इंटरैक्शन से उभरती है।
दूसरी परत परिचालन दक्षता मापती है: क्या प्रबंधन का समय कम हुआ, क्या समाधान दरें बेहतर हुईं, क्या एस्केलेशन में कमी आई। ये वे मेट्रिक्स हैं जो जारी रखने को उचित ठहराते हैं। एक तैनाती जो पहले नब्बे दिनों के भीतर इनमें से कम से कम एक संकेतक में हलचल नहीं दिखा सकती, उसमें तकनीकी स्टैक के किसी बिंदु पर समस्या है, और इसे जानने के लिए अधिक समय इंतज़ार करना केवल सुधार की लागत बढ़ाता है।
तीसरी परत वित्तीय प्रभाव मापती है: AI-सहायता प्राप्त इंटरैक्शन की प्रति लागत बनाम पूरी तरह मैन्युअल इंटरैक्शन, निवेश वसूली की अवधि, आरोपणीय बचत। यह वह परत है जो प्रोजेक्ट को नेतृत्व के निर्णयों के संतुलन में एक संपत्ति में बदल देती है। इसके बिना, AI पर बातचीत प्रौद्योगिकी के उत्साहियों के क्षेत्र में रहती है, उन लोगों के क्षेत्र में नहीं जो पूँजी आवंटित करते हैं।
जो चीज़ इस ढाँचे को काम करती है वह इसकी जटिलता नहीं है। यह यह है कि यह संगठन को तैनाती से पहले परिभाषा की बातचीत करने के लिए मजबूर करता है। प्रत्येक उपयोग मामले के लिए तीन से पाँच विशिष्ट व्यावसायिक संकेतकों को — मॉडल या विक्रेता चुनने से पहले — परिभाषित करना कोई पद्धतिगत अभ्यास नहीं है। यह इस बात का संकेत है कि नेतृत्व समझता है कि वह किस बात के लिए प्रतिबद्ध है और किस मानदंड से मूल्यांकन करेगा कि वह पूरा हुआ या नहीं।
जो अच्छी तरह मापता है, वह स्केल करता है। जो नहीं करता, वह बिना दिशा के दोहराता रहता है
नियामक संदर्भ इस बातचीत में तात्कालिकता जोड़ता है। यूरोपीय आर्टिफिशियल इंटेलिजेंस विनियमन, जो अगस्त 2024 से लागू है और जिसकी व्यापक प्रयोज्यता अगस्त 2026 से है, संगठनों से न केवल AI सिस्टम तैनात करने की माँग करता है, बल्कि यह प्रदर्शित करने की भी कि वे सिस्टम परिभाषित, ऑडिट योग्य और गैर-भेदभावपूर्ण मापदंडों के भीतर काम करते हैं। सक्रिय मापन अवसंरचना के बिना यह संभव नहीं है। जिन कंपनियों के पास पहले से ही परिचालन संकेतकों की निगरानी के लिए डैशबोर्ड हैं, वे — बिना इरादे के — शासन आवश्यकताओं को पूरा करने के लिए बेहतर स्थिति में हैं जो आने वाली हैं।
लेकिन विनियमन न्यूनतम तर्क है। मूल तर्क संगठनात्मक परिपक्वता का है।
जो कंपनियाँ AI को स्केल करने में सफल होती हैं वे ज़रूरी नहीं कि वे हों जिन्होंने सबसे अच्छा मॉडल चुना। वे वे हैं जिन्होंने मापने, समायोजित करने और परिणामों को पर्याप्त सटीकता के साथ संप्रेषित करने का अनुशासन बनाया ताकि समय के साथ आंतरिक समर्थन बनाए रखा जा सके। उस अनुशासन के लिए ज़रूरी है कि नेतृत्व टीम में कोई इस असुविधा को उठाए और कहे: "हम अभी तक नहीं जानते कि यह काम करता है या नहीं, क्योंकि हमने समय पर परिभाषित नहीं किया कि इसके काम करने का क्या अर्थ होगा।"
ऐसे संगठन हैं जहाँ वह बातचीत कभी नहीं हुई क्योंकि कोई भी कार्यकारी वह नहीं बनना चाहता था जो टीम के उत्साह पर सवाल उठाए, या क्योंकि पायलट इतने अधिक राजनीतिक शोर के साथ आया कि किसी ने स्पष्ट विफलता मानदंड प्रस्तावित करने की हिम्मत नहीं की। परिणाम वही है जो हम अक्सर देखते हैं: ऐसे प्रोजेक्ट जो बिना दिशा के दोहराव में टिके रहते हैं, ऐसी तकनीकी टीमें जो उन मेट्रिक्स को अनुकूलित करती हैं जिन्हें नेतृत्व समिति का कोई भी सदस्य समझ नहीं सकता, और ऐसे नेता जो पहले निवेश को स्वीकार करने के डर से अतिरिक्त बजट मंज़ूर करते हैं कि उसने जो वादा किया था वह नहीं दिया।
AI उस समस्या को हल नहीं करता। यह उसे बढ़ाता है। एक सिस्टम जो प्रति सप्ताह लाखों इंटरैक्शन उत्पन्न करता है, मूल्य और त्रुटि दोनों को बढ़ाता है। यदि आप नहीं जानते कि आप क्या माप रहे हैं, तो आप यह भी नहीं जानेंगे कि आप क्या गुणा कर रहे हैं।
मॉडल हमेशा बेहतर होता रहेगा। विक्रेता तेज़ी से छोटे होते चक्रों में अधिक सक्षम संस्करण लॉन्च करते रहेंगे। जो अपने आप नहीं बदलता वह यह है कि कोई संगठन कार्य करने से पहले स्पष्ट मानदंड स्थापित करने, ईमानदारी से जो हो रहा है उसे मापने, और शुरू से प्रोजेक्ट को फिर से बनाने की ज़रूरत के बिना समायोजित करने की क्षमता। यह कोई मॉडल नहीं देता। इसे नेतृत्व बनाता है, या कोई नहीं बनाता।
