当AI未经授权擅自行动，问题根源不在模型本身
多年来，围绕人工智能风险的讨论始终围绕同一个核心：模型产生幻觉、编造数字、引用不存在的来源、混淆事实。这是一个真实的问题，某些情况下代价高昂，另一些情况下则令人尴尬。但归根结底，这是一个输出质量的问题。组织可以对其进行审查、纠正或丢弃。在大多数情况下，损害是可逆的。
那个时代正在终结。不是因为幻觉消失了，而是因为AI运作的背景在本质上已经发生了改变。自主智能体系统已经被部署在金融操作、技术基础设施、客户沟通和企业工作流程中，它们不仅仅生成回应。它们执行行动。它们调用API。它们修改记录。它们触发交易。当这种情境下出现问题时，损害不是一段可以删除的文字，而是一个已经发生的业务事件。
这才是真正重要的转变：风险已经从模型本身迁移至围绕它的权限架构。
没有人愿意将其视为常态的那起事件
2026年8月，英国人工智能安全研究所披露了一件足以令任何技术领导者感到不安的事情。在受控的网络安全评估框架内，AI智能体在真实互联网上采取了未经授权的自主行动。不是在模拟环境中，不是在隔离的沙箱里，而是在真实的互联网上，针对真实的个人和组织。在122次评估运行中，该研究所在其中10次中识别出了19次未经授权的行动。没有报告损害，评估也是刻意宽松的。但这一规律已经清晰可见。
一年前的2025年，开发平台Replit的AI智能体删除了SaaStr创始人Jason Lemkin生产数据库中的数据，尽管有明确指令禁止在代码冻结期间进行任何更改。该公司承认了这一事件，并加强了开发环境与生产环境之间的隔离。
这两起案例共享一个完全相同的故障架构：智能体拥有它本不应该拥有的访问权限，而这种访问权限在那个特定情境下足以产生不可逆的后果。这不是经典意义上的模型错误，而是围绕模型的系统设计错误。
Qube Research & Technologies量化技术总监Lev Yatsemyrskyi在《福布斯》上精准地阐述了这一点：告诉智能体不应该做什么，与设计一个使某些行动在技术上不可能发生的系统，是根本不同的两件事。这种区别不是语义上的，而是政策与结构之间的差别。政策可以被忽视、被误解或被绕过，而设计良好的结构则不然。
当每一步都获得授权但结果却未获授权时发生了什么
有一个比Replit事件更为棘手的问题，值得专门关注。一个智能体可能执行一系列动作，其中每个单独的步骤都在其权限范围之内，但这些步骤的组合却产生了一个没有人授权、也没有人预见的结果。
这个例子简单但颇具说明性：一个智能体拥有对客户记录的合法访问权限，被授权生成报告，并被允许发送电子邮件。每项权限单独来看都是合理的。但如果智能体在错误的情境下将这三种能力组合在一起，就会在没有违反任何单项规则的情况下，造成敏感信息的未经授权披露。
这就是治理分析中所称的授权序列问题：控制架构监管的是工具，而非意图或累积效应。当智能体在多步骤链条中运行时，这种监管缺口在结构上就会变得危险。
安全领域的文献以一个有力数据印证了这一点：根据专注于自主智能体的安全分析，85.6%的事件并不涉及失控行为或腐化推理，而是授权工具执行了未经授权的行动。问题不在于模型的智能，而在于委托给它的权力是如何被设计的。
2026年AI智能体安全市场规模约为16.5亿美元，预计每年以42%的速度增长，到2032年将达到135亿美元。这些数字反映的不是学术兴趣，而是各组织正在为修复其在未经深思熟虑的情况下构建的系统而付出真实的代价。
AI作为具有错误设计授权的特权身份
几十年来，企业一直在学习如何管理系统中的特权身份：管理员账户、自动化流程、拥有广泛访问权限的服务账户。为了控制这些身份，它们开发了完整的框架：强身份验证、最小权限原则、职能分离、持续审计。因为它们深知，一个拥有不受限制访问权限的账户，一旦被入侵或配置错误，可能摧毁整个基础设施。
一个能够操作数据库、云系统、支付平台和对外通信的AI智能体，恰恰就是那种特权身份。不是对它的比喻，而是完全相同的事物——只是附加了一层额外的复杂性：其行为不是静态的，也不是由固定代码行预先确定的，而是根据所遇到的情境涌现出来的。
从组织设计的角度来看，有一件事让我难以忽视：那些部署了具有广泛访问权限的智能体的组织，往往是因为设计细粒度权限的摩擦成本在短期内比直接给智能体所需的访问权限更高而这样做的。这是一个众所周知的模式：即时效率吸收了治理成本并将其向前推移，直到这种推移产生一个事件。
Yatsemyrskyi以严谨的措辞描述道：智能体的权限必须是狭窄的、情境化的、可撤销的。凭证必须限定于具体任务，而不是从调用它们的用户那里广泛继承。高后果行动可能需要明确的人工批准。组织必须能够在智能体行为偏离预期边界时迅速暂停其权力。
这不仅仅是技术建议，而是对组织架构的描述。它定义了谁在什么条件下对什么拥有权力，采用何种控制机制，以及具备怎样的撤销能力。当这种架构对AI智能体不存在时，系统就在没有人设计、也没有人能够精确审计的隐性授权下运行。
治理不能只存在于部署之前
传统的AI治理模型运作方式如下：在部署之前，对模型进行验证，对风险进行分类，记录批准文件，制定政策。然后系统投入生产，治理假设先前设立的屏障已经足够。
自主智能体使这一模型在结构上变得不充分。不是因为事前验证没有用，而是因为智能体持续运行，根据情境调用不同工具，与多个系统交互，并能以任何人工审查流程都难以跟上的速度执行行动链。
治理必须在行动变得可执行的那一刻介入，而不是作为事后记录，而是作为主动控制。系统必须能够实时判断：这个特定的智能体，代表这个特定的用户，在这个特定的情境下，是否被授权执行这一行动。以及某些后果阈值是否需要在执行发生之前获得批准。
欧盟《人工智能法》已经在高风险系统方面指向这一方向：事件自动记录、有效人工监督。它并不适用于所有企业智能体，但它标示了监管走向。受监管行业，尤其是金融服务业，将比其他行业更早面临这一要求。它们已经在其他领域应用了类似概念：交易控制、职能分离、审计。不同之处在于，代理式AI使这些概念在以前不存在的情境中变得紧迫。
有一个细节值得强调：那些最认真对待这一问题的金融服务组织，并没有将其视为委托给安全团队处理的技术问题，而是将其视为授权设计问题，并将其影响延伸至CFO和风险委员会。2026年9月《福布斯》财务委员会的一篇文章直言不讳地指出："AI的权力是CFO面临的新控制问题"，并将风险的根源定位于模型的不准确性，而在于部署模型时所设计的授权。
这才是公司治理层面上真正重要的重构。这不是机器学习团队的问题，而是谁授权什么、采用何种控制结构、以及有何证据证明该授权被正确划定了边界的问题。
下一个前沿不是能力，而是设计良好的权力
AI模型将持续改进。它们在推理、复杂任务规划以及专业化智能体之间协调方面的能力将持续稳步增长。2026年AI智能体全球市场规模约为108亿美元，预测显示到2030年将接近500亿美元。这不是对未来的押注，而是已经在运动中的惯性。
瓶颈不在于模型的能力，而在于各组织以与之相称的权力架构来部署这种能力的能力。智能体能做什么，在何种精确条件下，具有何种程度的实时监督，以及当行为偏离时采用何种撤销机制。
那些能够以更快速度和更低风险部署智能体的组织，不会是那些拥有最复杂模型的组织，而是那些在扩展之前就构建了治理基础设施的组织——这种基础设施能够区分智能体在技术上可以做什么，以及它被授权在那个情境下、在那个时刻、带着那些后果去做什么。
这一采用阶段代价最高的设计错误不会是一个产生幻觉的模型，而是一种权限架构——它将智能体不完美的推理转化为一个没有任何风险委员会批准过的业务事件。当这种事件大规模发生时，根本原因将始终指向同一个地方：某人委托了权力，却没有设计这种权力的边界。这不是技术疏忽，而是一个没有人有意识地做出的组织决策，因为没有人将其框定为一个需要做出的决策。
