出品方：罗可龙的博客
背景事实
检索增强生成（RAG）技术，一度被视为解决大型语言模型（LLM）“胡说八道”（即幻觉）的银弹。通过引入外部知识库，RAG旨在将模型的回答“锚定”在事实之上。然而，在实际的生产环境中，RAG系统依然频繁出现幻觉——或无中生有，或曲解原文，或张冠李戴。这一顽疾，已成为阻碍AI在金融、法律、医疗等严肃场景大规模落地的核心瓶颈。
核心观点
我们必须停止将RAG幻觉视为一个单纯需要通过算法优化来“修复”的bug。RAG幻觉并非模型的缺陷，而是其概率本质的必然延伸。 业界当前普遍痴迷于通过改进分块策略（Chunking）、优化嵌入模型（Embedding）或调整提示工程（Prompt Engineering）来“消灭”幻觉，这是一种治标不治本的炼丹式思维，已经陷入了边际效益递减的困境。真正的出路，在于转变思路：我们不应追求一个永不犯错的RAG系统，而应设计一个能够识别、标记并管理不确定性的健壮系统。 这不是一个模型问题，而是一个系统工程问题。
论据支撑
第一，我们严重低估了从“检索”到“理解”的鸿沟。 RAG的核心假设是：只要检索到的上下文（Context）是准确的，生成（Generation）的结果就自然是可靠的。这过于理想化了。即便我们完美地检索到了包含答案的文本片段，LLM在生成环节依然可能犯错。它可能会忽略关键的否定词（如“不”、“并非”），可能会对多个不相关的片段进行过度推理和“脑补”，甚至可能因为提示中的微小偏差而完全曲解原文的意图。问题的根源在于，LLM不是一个逻辑推理引擎，它本质上是一个基于概率的文本序列生成器。指望通过优化输入端的“检索”来完全控制输出端的“生成”，就像试图通过精确控制食材来保证每一位厨师都做出米其林三星的菜肴一样，不切实际。
第二，算法层面的“微调”已触及天花板，无法提供确定性。 过去一年，行业投入了大量精力去优化RAG的各个技术环节。我们尝试了各种复杂的分块方法，从固定大小到语义分块；我们测试了无数个向量模型，力求在语义相似性上登峰造极；我们设计了层层嵌套的复杂Prompt，试图给模型戴上“紧箍咒”。这些努力确实在某些基准测试上提升了评分，但在开放和复杂的生产环境中，幻觉问题依然像打地鼠游戏一样，按下葫芦浮起瓢。因为这些优化本质上都是在概率空间里做微调，它们可以降低幻觉出现的频率，但永远无法根除其可能性。对于要求100%准确的严肃场景，99%的可靠性与90%的可靠性没有本质区别——它们都等于不可靠。
第三，真正的解决方案是构建后置的“校验与容错层”。 与其寄望于一个完美的、一步到位的生成结果，我们更应该建立一个独立的校验系统，对RAG的输出进行“交叉验证”。这个系统不信任LLM的任何“自由发挥”。它的工作方式应该是：首先，强制RAG在生成答案时，必须提供精确到句子级别的原文引述（Citations）；其次，校验层会自动将生成答案中的核心事实（如实体、数字、关系）与引述的原文进行比对验证。这可以是一个更简单的模型，甚至可以是基于规则的脚本。如果答案无法在原文中找到直接支撑，或者存在矛盾，系统就应拒绝回答，或者将答案标记为“低置信度”，并交由人工审核。这种设计思路，将不可靠的概率问题，转化为了一个可靠的工程确定性问题。
反驳与回应
一个常见的反对意见是：“构建这样一个复杂的校验系统，成本太高，效率太低，还不如等待下一个更强大的基础模型，比如GPT-5或GPT-6。”
我的回应是：这是一种将希望寄托于“大力出奇迹”的惰性思维。首先，即便更强大的模型能将幻觉率从5%降低到1%，那个“1%”在关键应用中依然是致命的。在金融风控或医疗诊断领域，任何一次错误都可能造成灾难性后果。我们不能把系统的可靠性建立在对模型提供商未来技术突破的虚幻期望之上。其次，所谓的“高成本”是相对的。与一个关键业务决策因AI幻觉而导致数百万损失相比，预先投入资源构建一个校验系统的成本，哪个更高？在任何成熟的工程领域，无论是航空航天还是金融交易，多层校验和冗余备份都是标准实践。AI工程化也不应例外。我们需要的不是一个更聪明的“黑箱”，而是一个透明、可审计、知其边界的系统。
我的看法
个人认为，业界应该尽快从对RAG算法的无限“内卷”中走出来，将更多的精力投入到系统架构的设计上。产品经理和AI工程师需要转变角色，不仅要做模型的使用者，更要做系统的架构师和风险控制者。
我们的下一步行动应该是：
- 将“可校验性”作为RAG系统的核心设计指标，而不是仅仅追求答案的流畅度和表面上的相关性。
- 投资研发独立的、轻量化的事实校验工具，使其成为AI应用的标准组件，就像数据库系统的事务日志一样。
- 在产品交互上，诚实地向用户展示AI答案的置信度和溯源信息，而不是用一个完美的拟人化界面来掩盖其内在的不确定性。
总而言之，解决RAG幻觉问题的钥匙，不在模型本身，而在我们如何构建围绕模型的系统。与其徒劳地试图驯服一头概率猛兽，不如为它打造一个坚固、透明且配有安全刹车的笼子。这才是通往可信赖AI的唯一务实之路。
转载请注明出处：罗可龙的博客 | 联系邮箱：[email protected]