出品方：罗可龙的博客
背景事实
AI 领域最炙手可热的两个概念——智能体（Agentic AI）和检索增强生成（RAG）——正在加速融合。Agent 赋予了 AI 执行任务、调用工具、与外部世界交互的行动能力；RAG 则通过连接外部知识库，解决了大型语言模型（LLM）的“幻觉”和知识陈旧问题。二者的结合，理论上将创造出一个既博学又具备行动力的“超级大脑”，能够自主完成复杂任务。这幅图景激动人心，几乎所有人都认为这是通往 AGI 的关键路径。
核心观点
然而，我认为，当前对 Agent 与 RAG 集成的狂热，正让我们忽视一个根本性的、甚至可以说是哲学层面的安全危机。我们关注的焦点大多停留在传统的数据泄露、权限控制等问题上，但这完全搞错了重点。真正的致命缺陷在于：我们将一个拥有自主行动能力的“执行者”（Agent），与一个其信息源头可被轻易污染的“大脑”（RAG）绑定在了一起。这创造的不是一个无所不知的自主系统，而是一个完美的“提线木偶”——其行动可以被通过污染知识源而远程操控。 我们面临的核心威胁不是“数据安全”，而是“认知安全”，或者我称之为“认知注入”（Cognitive Injection）攻击。
论据支撑
第一，攻击范式从代码注入转向了认知注入。 传统网络安全的核心是防御代码层面的攻击，如 SQL 注入、跨站脚本（XSS）。攻击者需要找到系统漏洞，注入恶意代码来控制程序行为。但在 Agent+RAG 架构下，攻击者无需攻破任何一行代码。他们只需要将一份精心伪造的文档、一封邮件、一条内部聊天记录，甚至一个虚假的外部网页，植入到 RAG 能够检索到的知识库中。
想象一个企业内部的 Agent，它有权限访问财务系统。攻击者只需植入一份伪造的、看起来完全合规的“紧急财务支出审批流程”文档。当高管向 Agent 发出“处理一下今天的紧急付款”这种模糊指令时，Agent 会检索到这份被污染的“权威”文档，并忠实地按照其中描述的流程，将资金转移到攻击者的账户。在这个过程中，系统没有 bug，权限没有被绕过，一切操作都合规合法。Agent 只是被“说服”去作恶。这种攻击的隐蔽性和破坏力，远超传统手段。
第二，“净化知识库”的理想在现实中不堪一击。 很多人会说，我们可以通过严格的数据清洗和来源验证来保证 RAG 知识库的纯净。这是一种过于理想化的技术幻想。在任何一个真实的企业环境中，知识是动态、庞杂且混乱的。邮件、Slack/Teams 消息、Confluence 页面、代码注释、会议纪要……这些构成了企业知识的命脉，也必然是 RAG 的核心信息源。
我们如何对每一条信息进行“权威性”鉴定？由谁来鉴定？一个足够聪明的攻击者，总能将恶意信息包装得与正常业务内容别无二致。要求一个系统在行动前验证其信息来源的绝对可靠性，要么会因为无限的交叉验证而陷入瘫痪，要么就会因为验证规则的疏漏而被绕过。依赖人工审核？这直接违背了构建自主 Agent 的初衷。因此，一个绝对“干净”的知识库是不存在的，这意味着 Agent 的认知基础永远是脆弱的。
反驳与回应
当然，会有人提出反对意见。最常见的论调是：“我们可以通过精细的权限管理（RBAC）和操作审计来限制 Agent 的行为。”
这种观点混淆了“能力”和“意图”。权限管理规定了 Agent 能做什么，但无法控制它想做什么。一个拥有“发送邮件”权限的 Agent，在被恶意信息欺骗后，可能会向全公司发送携带病毒的钓鱼邮件。权限系统无法阻止它，因为发送邮件本身在其权限范围内。问题出在驱动它行动的“意图”，而这个意图，恰恰是被污染的知识所塑造的。审计日志或许能事后追溯，但当一家公司的核心数据已被加密勒索，或者巨额资金已被转移时，事后审计的意义已经不大了。
另一个声音是：“未来的 AI 会更智能，能够自行分辨信息的真伪。” 这无异于将今天的安全架构建立在对未来技术不切实际的幻想之上。这本质上是一场攻防军备竞赛，我们没有任何理由相信，防御性的“鉴别 AI”会永远领先于攻击性的“伪造 AI”。将系统的安全寄希望于一个尚不存在的、更高级的智能，是一种极不负责任的设计哲学。
结论与展望
我的看法是，我们必须从根本上转变思路。在 Agent+RAG 系统的设计中，我们不能再将 RAG 知识库视为一个可信的、静态的“事实来源”，而应将其看作一个充满不确定性、甚至潜在敌意的“信号环境”。Agent 的核心能力不应仅仅是“检索与行动”，更应该是“怀疑与验证”。
下一步行动、进一步措施，我认为应该聚焦于以下几点：
-
建立行动溯源链： Agent 的每一次关键行动，都必须能清晰地、不可篡改地追溯到是基于 RAG 检索到的哪几条具体信息。当问题发生时，我们能立刻定位是哪部分“知识”污染了它的决策。
-
引入置信度与风险分级： Agent 在做出决策时，不仅要给出答案，还必须输出一个基于信息来源可靠性的“置信度分数”。对于高风险操作（如资金转移、系统变更），如果其决策依据的信息来源置信度低于某个阈值，则必须强制引入“人在回路”（Human-in-the-Loop）进行审批。绝对的自主性，只应被授予那些基于高置信度信息源的低风险任务。
-
强制多源交叉验证： 在设计上，应鼓励 Agent 主动从多个相互独立的知识源中检索信息，并对冲突信息进行标记和上报。不能因为一份内部文档这样说了，就全盘相信。它或许还应该去核对一下邮件系统和项目管理工具中的相关记录。
我们正站在一个强大技术范式的前夜，但越是强大的工具，其内在的脆弱性就越致命。如果我们继续忽视 Agent+RAG 架构中这种深层的“认知”脆弱性，我们亲手构建的，将不会是解放生产力的超级大脑，而是一个随时可能被他人操控、对我们造成巨大伤害的完美傀儡。
转载请注明出处：罗可龙的博客 | 联系邮箱：[email protected]