借来的自主权：为何企业级AI智能体无法简单地"一键启动"
一个在演示中运行正常的系统，与一个在无人监督时不会破坏价值的系统，两者之间存在本质差异。对于AI智能体而言，这种差异体现在被修改的记录、已处理的付款以及在没有人工干预的情况下做出的决策上。这个问题并非技术问题，而是治理问题。
亚马逊网络服务生成式AI高级经理在《福布斯》技术委员会发表的一篇分析，将这场讨论精准地引向了应有的方向：不是模型的能力，而是围绕智能体的监督架构。他提出的核心运营问题简单得近乎残酷：在部署智能体系统之前，你必须清楚，你的组织能否在错误发生后检测到它们，以及这种检测能否改变系统的后续行为。如果这两个问题中有任何一个的答案是否定的，那么无论该模型通过了多少基准测试，赋予其自主权的决定都为时过早。
在一个Grand View Research估计全球AI智能体细分市场将于2026年达到229亿美元、并预计2033年将达到2245亿美元的市场环境中，上述立场或许显得保守。但市场规模并非安全性的论据，而是认真构建的迫切性论据。
揭示深层问题的退款模型
这篇分析援引了一个看似平淡却颇为精准的例子：一个处理客户退款的智能体。它首先区分了"起草回复"和"发起退款"两种操作。前者生成的是人类可以审阅的文本，后者则直接修改银行账户的状态。
这一区别并非语义上的，它定义了可能发生的错误类型、错误的可逆性，以及检测错误的成本。措辞不当的文本会带来摩擦，而错误的付款则会导致财务损失、监管风险，并视行业而定，还可能产生法律后果。智能体能够产生错误的速度，与它能够运行的速度完全成正比。
文中提出的方法是围绕预先定义的条件来构建人工审批机制：明确智能体可以处理哪些情形，以及在采取行动前必须具备哪些证据。订单记录不完整、政策模糊或条件未作说明，都应触发自动上报，而非由模型即兴作出回应。这将人工监督从一个模糊的概念，转化为一项具有明确标准的运营管控措施。
这种架构之所以值得关注，在于它揭示了智能体实施中最常见的错误：将高完成率等同于正确结果。一个系统可以完成95%的案例，却在剩余的5%中产生系统性错误，而无人察觉——因为没有人在审视那些看似成功的案例。文章建议，对于无异常的已解决案例，同样应进行抽样检查，而不仅仅是对上报案例进行审查。否则，智能体实际上决定了自己的哪些工作接受审scrutiny，这恰恰与监督的本义背道而驰。
2026年一项针对两个不同基准测试中15个模型的研究发现，能力的提升伴随的是相对有限的可靠性提升。这一数据之所以重要，在于它打破了最常见的直觉：更强大的模型，部署时也按比例更安全。能力与一致性并非以相同的速度提升。
报告通常掩盖的经济账
这篇分析提出了一个以1000个退款案例为假设的计算：850个案例由智能体无需人工纠正即可解决，100个由人工解决，50个未解决。软件和基础设施成本为400美元；验证、审查和修复成本为1600美元。结果：950个经过核实的案例共花费2000美元，约合每案例2.11美元。此计算不包括初始实施成本及未被检测到的错误所造成的后果。
这道算术看起来颇为可观。但通常对同一案例的惯常呈现方式，是报告95%的完成率，并将节约归功于智能体。而这份报告所省略的，是人力劳动的贡献——在该例子中，人力劳动占整个流程总成本的80%。如果这部分成本由另一个团队或预算项目承担，那么扩大规模的决策可能建立在一个被人为压低的成本基础之上。
2024年的一项研究《真正重要的AI智能体》恰恰论证了这一点：大多数智能体评估实践过于关注原始准确性，而忽视了成本。对于部署决策而言，正确的计算必须涵盖人员用于审查、纠正和补全智能体工作所花费的时间。如果运营团队在不将例外情况报告为系统关联成本的情况下就吸收了这些例外，那么这部分时间在工程预算中可能是隐形的。
当规模扩大时，问题会进一步放大。那些最先被自动化的简单案例，产生的经济效益最为可观。将自主权延伸至有争议的交易或复杂案例，需要单独进行评估，因为简单案例的经济逻辑无法预测复杂案例所消耗的时间。一个以每案例0.47美元处理850个标准退款的智能体，可能产生每案例人工审查成本高达60美元的例外情况。总体完成率看起来依然不错，而真实的运营利润率则截然不同。
文章还提及了一项在商业模型中往往被忽略的额外成本：审查队列需要有人负责。审查人员需要足够的证据来理解发生了什么，并需要一种无需重做所有前期工作就能完成案例的方式。如果部署计划中没有考虑到这项能力，案例就会在等待审批的过程中积压，而智能体继续运行，客户同样在等待——无论系统最初生成回应的速度有多快。
将错误转化为限制条件的链条
2026年10月27日，IBM宣布对其watsonx Orchestrate平台进行更新，新增功能包括：用户模拟、确定性评估、生产故障调查、测试用例生成，以及一个旨在在智能体升级至生产环境前提升其质量的"AgentOps智能体"。该产品的方向，与《福布斯》这篇分析从治理角度所描述的方向完全一致：将生产环境中发生的情况与系统行为相连接，在授权扩展权限之前加以处理。
这种架构——部署前测试、加生产环境观测、加限制条件更新——是将一个智能体从单纯的"被监控对象"转变为企业可以真正管理的对象的循环机制。其中的差异在于：监控能发现故障，而管理则将故障转化为策略调整、授权限制或能防止故障复发的新测试用例。
这篇分析提出的方法有一个具体的顺序：从建议性操作开始，过渡到人工审批，在结果足以证明的情况下允许在既定限制范围内自主执行。某些案例可能需要永久性的人工审批。政策变更、积压增加或事后发现的错误，都应触发对已授予权限的审查，而非仅审查未来的权限。
这条链中最容易在实际实施中被跳过的最后一步是：要求流程的业务负责人逐一回顾审查期间发现的未解决案例和检测到的错误，并追问这一分析带来了哪些改变。关于是否扩大自主权的下一个决策，应取决于这些问题是否已被解决，以及负责处理例外情况的团队是否有能力承接更多工作。如果这两个问题都没有答案，那么扩大智能体的权限就是一场赌博，而非一个决策。
在授予权限之前，先明确谁来承担错误的代价
这篇分析所揭示的模式，在企业自动化的历史中并不新鲜。每一波技术浪潮——从ERP到RPA——都经历过这样一个阶段：效率的承诺基于系统处理得好的案例来评估，而真实的成本则出现在系统处理不了的案例中。语言智能体的不同之处在于，其灵活性——恰恰是使其具有吸引力的特质——也使其故障比确定性规则的故障更难以预测。
一个依据自然语言指令运行的智能体，其行为可能随上下文、模糊数据、模型更新，或因系统状态不同而响应各异的工具而变化。这意味着，在预生产环境中针对有限基准进行的验证，并不能保证在生产环境中的一致性，只能保证它通过了那个基准测试。
任何运营负责人在批准扩大智能体权限之前，应当问的问题不是它完成了多少案例，而是：它所完成的案例中，有多少经过了有能力发现错误的人员审查？组织又对发现的错误做了什么？如果没有人审查过那些成功的案例，如果发现的错误没有修改系统规则，或者审查团队对智能体的推理过程没有可见性，那么完成率所衡量的就不是它看起来衡量的那个东西。
无论有没有治理，AI智能体市场都将持续增长。决定哪些组织能实现有序扩张、哪些组织只是在积累隐性负债的，恰恰是以下几点：错误的成本是否在正确的预算中清晰可见；审查人员是否拥有完成智能体未竟之工作的工具；以及是否有人负责将每一次故障转化为防止下一次发生的限制条件。自主权不是被授予的，而是用运营证据建立起来的——这一过程所需的时间，往往比部署计划所预留的要长得多。
