度量以扩展：阻碍企业级人工智能发展的核心问题
两年前，我认识的大多数高管还在争论选择哪种语言模型。如今，那些已经做出决策、却依然无法为第二轮投资提供合理依据的人，开始逐渐明白：问题从来不在于模型本身，而在于度量方式。
企业界已经以快速步伐采用人工智能多年。根据麦肯锡的数据，88%的组织已在至少一项业务职能中引入了人工智能。但其中只有三分之一能够持续、系统地推动规模化落地。这一差距——从试点到规模化之间的鸿沟——并非技术层面的问题，而是组织层面的问题。它根源于大多数管理团队始终回避进行的一场对话：从运营和财务角度而言，"这件事有效"究竟意味着什么。
在Sustainabl，我们长期观察企业如何构建人工智能投资案例。我们最常看到的，不是技术上的无能，而是层次上的混乱：企业所度量的，往往是供应商所交付的内容——在标准测试中的得分、实验室精度、对比排名——却忽略了衡量董事会真正需要看到的东西：业务究竟发生了什么变化。
基准测试的陷阱，以及它对领导力的揭示
当一个管理团队通过对比基准测试分数来评估人工智能模型时，他们正在重蹈科技界在上世纪九十年代服务器时代早已犯过的错误：购买的是规格参数，而非实际结果。问题不在于基准测试本身毫无价值，而在于它回答的是一个完全不同的问题。
基准测试衡量的是模型在受控条件下解决标准化任务的能力，所用数据与企业真实业务流程、专有知识库以及具体的边缘案例毫无关系。而在生产环境中——面对你实际拥有的数据、已有的流程以及每天与系统交互的用户——这些指标与实际表现之间可能相差15到25个百分点。这一差距不是技术细节，而是供应商承诺与业务结果之间的真实距离。
在这里，我关注的不是模型的工程层面，而是这种混乱所揭示出的：组织在面对新技术时是如何运作的。有一种反复出现的模式：面对不确定性，领导层倾向于将成功标准的判断权拱手让给技术领域。工程师的语言——精确率、召回率、F1分数——被直接采用，而没有将其转化为业务语言。这并不是因为领导层不称职，而是因为没有人愿意进行那场令人不舒服的对话：定义清楚，如果这笔投资失败，失败的标准是什么。
这场对话的缺席是有代价的。当一个人工智能项目在90天后仍然无法显示任何运营指标的变化时，讨论就会在变成分析性讨论之前先变成政治性博弈。每个部门都为自己的解读辩护，没有人愿意为结果承担责任，项目要么靠惯性勉强维系，要么因挫败感而被取消。这两种结局都是可以避免的——前提是管理团队从一开始就明确，在选择模型之前、在筛选供应商之前，哪些业务指标将会发生变化，以及变化幅度是多少。
首席财务官需要听到的内容
在审查人工智能投资提案时，我脑海中有一个测试：想象首席财务官在系统部署十二个月后阅读这份业务案例文件。如果文件只能展示模型在推理基准测试中获得了93%的分数，那么这个项目就处于危险之中。不是因为这个数字无关紧要，而是因为它无法回答首席财务官在批准第二年预算时所提出的任何实质性问题。
真正的问题是：每个案例的处理时间降低了多少？首次接触解决率提升了多少？每次人工智能辅助交互的成本与完全人工处理的成本相比如何？新客服人员达到可接受运营水平需要多长时间？这些指标不是由模型本身提供的，而是由整个系统架构提供的：数据质量、信息检索设计、集成延迟、控制机制。模型只是这个系统中的一个变量，而且往往不是最具决定性的变量。
在生产环境中、针对企业自有数据、结合业务中真实边缘案例所进行的度量，才是定义解决方案是否产生价值的关键所在。一个相对简单、但针对特定知识库和客户语言模式进行了精细校准的模型，可能会持续超越一个从未为该应用场景进行调整的更复杂的模型。我在公用事业服务行业的联络中心亲眼见证过这种情况：基准测试中的"胜出"模型最终被一个更简单的模型所取代，因为后者在客户真实查询中表现更好。
其中的含义是直接的：模型应当被视为可替换的组件，而不是项目的核心标识。那些以这种逻辑设计架构的组织——将模型层与应用层分离——可以在不拆解整个解决方案的情况下替换模型。而那些没有这样做的组织，则会陷入技术依赖的困境，使未来任何改进都代价高昂。
一个能够经受预算周期考验的三层框架
在观察了多个工业和服务行业的部署案例后，我发现最具持久性的度量结构，并不是最复杂的那种，而是对整个指挥链条——从技术团队到董事会——都最具可读性的那种。
第一层衡量生产环境中的精确率：系统生成的结果中，无需人工纠正即可认定为正确的比例，以企业真实数据和极端案例为基准进行衡量。不是供应商报告的准确率，而是从与用户及内部专家的真实交互中涌现出来的数据。
第二层衡量运营效率：处理时间是否缩短、解决率是否提升、升级转派是否减少。这些是支撑项目持续推进的核心指标。一个在部署后最初九十天内无法在上述任何一项指标上显示出变化的系统，在技术栈的某个环节存在问题——等待更长时间才去发现，只会增加纠正的成本。
第三层衡量财务影响：每次人工智能辅助交互相较于完全人工交互的成本、投资回收周期、可归因的节约金额。这一层将项目转化为管理决策资产负债表中的真实资产。没有这一层，关于人工智能的讨论就始终停留在技术爱好者的领域，而无法进入资本分配者的视野。
这个框架发挥作用的原因不在于其复杂性，而在于它迫使组织在部署之前就进行定义性的对话。在选择模型或供应商之前，为每个使用场景明确三到五个具体的业务指标，这不是一种方法论练习，而是领导层理解自己承诺了什么、并以何种标准评估是否兑现的信号。
善于度量者得以扩展，不善度量者只是无方向地反复迭代
监管环境为这场对话增添了紧迫性。欧洲人工智能法规自2024年8月起生效，并将于2026年8月起广泛适用，该法规要求组织不仅要部署人工智能系统，还必须能够证明这些系统在明确、可审计且无歧视的参数范围内运行。没有一套主动的度量基础设施，这一点是无法实现的。那些已经建立了运营指标追踪仪表板的企业，在不经意间，已经比那些尚未建立的企业更好地定位自己，以应对即将到来的治理要求。
但监管只是最低限度的理由，更深层的理由在于组织成熟度。
那些成功实现人工智能规模化的企业，未必是选择了最好模型的企业，而是那些建立了度量、调整和精确传达结果这一纪律的企业——精确到足以在整个过程中持续维系内部支持。这种纪律需要管理团队中有人承担起令人不舒服的责任，说出："我们至今仍不知道这件事是否有效，因为我们没有及时定义'有效'究竟意味着什么。"
有些组织中，这场对话从未发生过——因为没有哪位高管愿意成为那个对团队热情提出质疑的人，或者因为试点项目带着太多政治噪音，没有人敢于提出明确的失败标准。结果就是我们经常看到的：项目在没有方向的迭代中维持运转，技术团队优化着管理委员会中没有人能够解读的指标，而领导者则因为不愿承认第一次投资没有兑现承诺，而批准额外的预算。
人工智能无法解决这个问题，它只会放大这个问题。一个每周产生数十万次交互的系统，会将价值与错误同等放大。如果你不知道自己在度量什么，你同样不会知道自己在倍增的是什么。
模型总会持续改进。供应商将以越来越短的周期发布更强大的新版本。但一个组织在行动前建立清晰标准、诚实度量实际发生的事情、在无需从头重建项目的情况下进行调整的能力，不会自动随之提升。这种能力，没有任何模型能够交付。它由领导层来构建，否则就无从构建。
