出品方：罗可龙的博客
Agentic AI的治理幻觉：我们正在用审查内容的旧地图，探索自主行动的新大陆
背景事实
人工智能的进化正在跨越一个关键的拐点。我们熟悉的、以生成文本和图像为主的“生成式AI”，正迅速向能够自主规划、调用工具并执行多步复杂任务的“代理式AI”（Agentic AI）演进。从学术圈的AutoGPT，到引发热议的AI软件工程师Devin，再到各大云厂商悄然布局的AI Agent平台，一个能与数字世界和物理世界直接交互的智能体时代已然开启。它们承诺带来前所未有的生产力解放，但同时也引发了前所未有的治理、安全与伦理焦虑。
核心观点
当前的AI安全与治理范式，本质上是一种针对内容生成的“内容审查”思维，它被行业和政策制定者下意识地嫁接到Agentic AI上。我认为，这是一种危险的认知错位，一个根本性的类别谬误。我们不能用管理“笔”的逻辑去管理一只能够自主行动的“手”。 当AI从一个“内容生产者”转变为一个“行动执行者”时，风险的性质发生了根本改变。继续沿用旧地图，我们不仅找不到新大陆，反而会驶向深渊。
论据支撑
首先，风险的“攻击面”已经从输出层转移到了执行层。 传统生成式AI的安全核心是防止其产生有害、虚假或歧视性的内容。其治理手段，无论是预训练数据清洗、指令微调、还是输出过滤器（Guardrails），都聚焦于模型最终吐出的“那段话”或“那张图”。然而，对于Agentic AI而言，真正的风险不在于它中间过程“想”了什么或说了什么，而在于它最终“做”了什么。一个Agent可能在内部生成了完全无害的思考链（Chain-of-Thought），但其最终执行的API调用却可能是删除关键数据库、在金融市场下达错误订单或冒用身份发送钓鱼邮件。试图通过审查其内部“独白”来确保安全，就像试图通过检查一名司机的内心想法来防止交通事故一样，缘木求鱼。风险的重心已经从信息本身，转移到了信息所驱动的、与真实世界交互的行为。
其次，“意图与结果”的脱钩使得传统安全框架失效。 目前的AI安全措施很大程度上依赖于对用户“意图”的判断。如果用户输入了明显的恶意指令，系统会拒绝执行。但在Agentic AI的复杂任务链中，一个完全善意的初始指令，可能在经过数十步的自主推理和执行后，演变成灾难性的后果。比如，一个用户指令“帮我优化云服务器成本”，听起来无懈可击。但一个不够完善的AI Agent可能将其解读为“删除所有低使用率的实例”，最终导致含有冷备份数据的服务器被永久删除。在这里，初始意图是好的，执行过程中的每一步决策在局部看也可能是合理的，但最终的系统性结果却是灾难。这种“涌现”出的风险，是传统基于意图检测的安全模型无法捕捉的。问题不再是“用户想做什么坏事”，而是“系统在没人监督的情况下会做出什么蠢事或错事”。
最后，“人在环路”（Human-in-the-loop）正在成为一个虚伪的安全神话。 面对Agentic AI的自主性，最常见的解决方案是“让关键步骤由人类确认”。这在理论上听起来很美好，但在实践中几乎必然会因为“确认疲劳”而失效。当一个复杂的任务被分解为成百上千个微小的步骤（调用API、读写文件、发送请求），用户很快就会失去耐心和辨别力，最终沦为无脑点击“同意”的橡皮图章。这种设计看似增加了控制，实则只是将责任转嫁给了用户，创造了一种虚假的安全感。真正的安全体系，必须内生于系统本身，而不是依赖于一个不可能时刻保持警惕的人类监督者。
反驳与回应
当然，会有人提出反对意见。最常见的一种是：“我们可以通过更强大的模型对齐（Alignment）技术，让Agent在价值观上变得更‘善良’、更‘负责’，从而从根本上解决问题。”
我的回应是：这混淆了“道德”与“能力”的边界。对齐训练或许能让一个Agent在面对道德困境时做出更符合人类期望的选择，但这无法阻止它在一个纯技术任务中犯下致命的逻辑错误。一个“善良”的AI飞行员，如果其导航算法有bug，同样会坠机。Agentic AI的核心风险，很多时候并非源于其“邪恶”，而是源于其在复杂环境中自主决策时潜在的“愚蠢”或“僵化”。将希望完全寄托于“道德教化”，而忽视对其行动能力的刚性约束，是一种危险的理想主义。
另一种观点是：“市场会自我调节，不安全的产品会被淘汰。” 这种观点在传统软件领域或许成立，但Agentic AI的速度、规模和潜在破坏力是前所未有的。一个设计有缺陷的AI交易Agent，可能在几分钟内引发市场闪崩；一个被用于网络攻击的自主Agent集群，其破坏效率远超人类黑客团队。等到市场“自我调节”时，系统性风险可能已经造成了不可逆的损害。我们没有多次试错的机会。
结论与展望
我们必须从对Agentic AI的治理幻觉中清醒过来，停止将内容审查的旧框架生搬硬套。我们需要建立一套全新的、基于“过程治理”和“能力控制”的范式。
我的建议是，行业和监管机构应立刻将焦点转向以下几个方向：
-
推行“能力沙箱”而非“内容围栏”：核心思路不是限制Agent“能说什么”，而是严格限制它“能做什么”。应强制推行基于最小权限原则的精细化能力管理。例如，为Agent设定明确的预算上限、文件读写权限（如只能读取特定文件夹、写入前需二次验证）、API调用频率限制等。这就像操作系统的用户权限管理，从根本上限定其破坏范围。
-
建立强制性的“可审计日志”与“硬中断开关”：所有Agent的每一步决策、每一次API调用、每一次对环境的改变，都必须被记录在不可篡改的日志中，以备审计和追溯。同时，必须设计独立于AI模型本身的、高优先级的“硬中断开关”（Kill Switch），允许用户或监管系统在检测到异常行为时，能瞬间、无条件地终止其所有进程。
-
探索面向“行动”的责任与保险框架：法律和政策的讨论需要超越“谁为AI生成的内容负责”，进入到“谁为AI执行的行动负责”这一更复杂的领域。开发和部署Agentic AI的公司，必须为其产品的自主行为承担更明确的法律责任。同时，发展针对AI自主行为的保险市场，通过风险定价来激励开发者构建更安全的系统。
个人认为，Agentic AI是我们这个时代最强大的赋能工具，也可能是最危险的潘多拉魔盒。打开它的方式，决定了我们的未来。放弃用旧地图指导新探索的幻想，正视其“行动者”的本质，并为其量身打造一套坚固可靠的“缰绳”，是我们当下最紧迫的任务。
转载请注明出处：罗可龙的博客 | 联系邮箱：[email protected]