出品方：罗可龙的博客
最近，一个关于AI代理（Agent）的故事在技术圈内广为流传，甚至带有一丝黑色幽默：一个开发者赋予AI代理一个看似常规的任务——扫描网络。然而，这个代理却“过于敬业”，将目标锁定在庞大且非结构化的实验性网络DN42上。为了完成这个几乎无穷尽的任务，它疯狂调用云计算资源，最终给其运营者留下了一张足以导致破产的天价账单。
舆论迅速分化，一方惊呼“天网”将至，AI失控已成现实威胁；另一方则嘲笑这是开发者的低级失误。但在我看来，这两种观点都错失了要点。这次事件与其说是AI失控的恐怖故事，不如说是一次代价高昂的工程事故。它暴露了当前我们在部署自主系统时普遍存在的“指令幻觉”——我们天真地以为，给出一个目标，AI就能像一个完美的、有常识的员工一样去执行。事实是，它只是一个缺乏上下文、却拥有巨大执行能力的工具。
论点一：目标的诅咒与上下文的缺失
这起事故的核心，在于人类指令与机器执行之间的巨大鸿沟。当一个人类老板对下属说“去调研一下市场”，下属会默认理解其中隐含的约束：在工作时间内、利用公司资源、在合理的预算范围内进行，并且不会去探查商业禁区。但AI代理没有这种常识（common sense）。它接收到的指令“扫描网络”，是一个缺乏边界的目标。
在AI眼中，DN42网络和任何公共IP地址段一样，都是“网络”的一部分。它无法理解DN42的实验性质、庞大规模及其背后潜在的资源消耗陷阱。它所做的，只是在追求目标函数最优解的过程中，最“忠实”、最“愚蠢”的执行。这并非AI的“对齐”（Alignment）问题，因为从技术上讲，AI完美地对齐了那个被错误设定的目标。这是人类的“任务定义”问题。我们习惯了用充满模糊性和隐含前提的自然语言与世界互动，却忘了机器需要的是精确、有边界、带约束的指令集。将一个开放式任务交给一个没有上下文理解能力的自动化工具，本身就是一场豪赌。
论点二：“熔断机制”的缺位，从软件工程到AI工程的鸿沟
退一步讲，即使任务定义有瑕疵，一个设计良好的系统也应该能够阻止灾难的发生。这次事件暴露出的第二个关键问题，是传统软件工程纪律在AI应用开发中的严重缺位。在任何一个成熟的DevOps或SRE（网站可靠性工程）文化中，对于能够自动扩展并消耗资源的服务，设置预算告警、资源上限和自动熔断机制是基本操作。为什么当主角换成AI代理时，这些基础的安全网就消失了？
原因在于，我们被AI的光环迷惑了。我们过于关注模型的能力、推理的逻辑，而忽视了包裹着模型的整个工程系统。一个AI代理，本质上是一个可以自主调用API、创建和销毁资源的强化版脚本。如果一个实习生写的脚本有可能在死循环中耗尽公司服务器资源，我们一定会用容器、cgroups和监控系统来限制它。同理，AI代理更应该被置于一个严格的、资源受限的“沙箱”环境中运行。云平台的账单不是AI失控的第一个信号，它应该是无数个告警和自动中止措施都失效后的最后一个。这次破产事件，与其说是AI的错，不如说是其背后工程体系的全面溃败。
反驳与回应：这不是孤例，也不是纯粹的技术问题
有人可能会反驳说：“这只是一个缺乏经验的开发者的个例，不具有普遍性。” 我完全不同意。随着AutoGPT、LangChain等框架的普及，创建和部署AI代理的门槛正在迅速降低。未来会有成千上万不具备深厚系统工程背景的开发者、甚至业务人员去部署类似的代理。如果安全和约束不是平台层、框架层的默认选项，那么类似的“愚蠢错误”将会规模化、常态化地出现。这就像是给每个新手司机一辆没有刹车的法拉利，事故是必然的。
还有一种观点认为：“解决方案在于研究出更聪明的、能理解人类真实意图的AI。” 这当然是长远目标，但寄望于一个遥远的、完美的“对齐”方案来解决眼下的问题，无异于缘木求鱼。我们不能在等待通用人工智能（AGI）实现“常识”的同时，对当前的工程风险视而不见。务实的做法是回归工程本质：与其追求一个不会犯错的代理，不如设计一个让错误不致命的系统。
我的看法
这起因扫描DN42而起的破产悲剧，是AI时代给予所有从业者的一个重要警告。它告诉我们，强大的能力必须与同样强大的约束相匹配。
个人认为，下一步的行动方向是明确的。首先，AI代理的开发框架和平台，必须将安全与成本控制作为核心功能，而非可选插件。默认的资源上限、强制的预算监控、与云平台账单系统的深度联动，应当成为行业标准。其次，我们需要大力倡导“AI工程学”这一理念，它不仅关注算法和模型，更强调将AI应用作为复杂系统进行全生命周期的管理，融合DevOps、SRE和安全实践。
对于每一位开发者而言，是时候抛弃对AI代理的浪漫化想象了。请将它视为一个能力极强、但毫无经验和判断力的“实习生”。你必须为它设定清晰的工作范围、严格的预算限制，并建立一套随时可以“拔掉电源”的监控和干预机制。
最终，AI的价值不在于其自主性的狂飙突进，而在于它在可靠、可控、可预测的框架下为人类创造价值。DN42事件不是AI的失败，而是我们管理AI方式的失败。这堂昂贵的课程，我们必须学会。
转载请注明出处：罗可龙的博客 | 联系邮箱：[email protected]