探索kag在rag工作流程中的应用：如何提升数据检索与客户服务效率

Rifx.Online
Natural Language Processing , Large Language Models , AI Research
27 Feb, 2025

检索增强生成 (RAG)

RAG 一直是基于AI的商业工作框架中最成功的。它并不使用基础数据来训练大语言模型（LLM），同时为企业提供企业级安全，但它也在回答问题、提供客户服务及其他方面提供了好处。

RAG 可能会以几种方式失败。

例如，最近有客户问我们为什么他们的数据导入出现故障。现在，我们有一些先前的信息：

客户收到了一条错误信息，内容为 DataNotFound
日志显示该账户没有手动数据导入
客户当前的订阅计划不支持从第三方源的自动数据导入
客户最近升级了他们的订阅计划

现在，RAG 依赖于文本检索和匹配。我在我的《更好的搜索》系列中详细描述了这一点 (1 & 2)，因此工作流程不会从我们的订阅计划中获取信息，将其与错误匹配，然后与客户的问题联系起来。人工代理可以轻松做到这一点；问答（Q&A）将相当简单。

客户：“我正在尝试生成销售报告，但我不断收到‘数据未找到’的错误。我完全按照说明操作。”
代理：“感谢您分享这个信息。我看到您最近升级了软件版本。升级后，您是否重新配置了数据导入设置？”
客户：“我不知道我需要这样做。”
代理：“没问题。您的系统缺少最新数据，因此报告无法生成。让我指导您手动导入数据的步骤。或者，我们可以讨论升级您的计划以自动化此过程。”

人类直观地理解这一点，因为他们发现了数据在这些系统中使用的模式。这就是为什么我们在 Kommunicate 在客户服务中如此重视 “人类 + AI” 这个理念的原因。

请记住，当您执行 RAG 时，并不是在用您的数据训练 AI。虽然文本检索方法包含模式匹配和向量搜索，但它并不像基于 LLM 的数据库搜索那样复杂。

因此，我们无法在 RAG 中使用 LLM 的直观推理和学习范式（如果您查看我最近的一些教程，我明显抑制了我们用于客户服务的 AI 模型的创造力和推理，以提高准确性）。但我们应该充分利用 LLM 的能力，对吗？我们应该利用它们的推理和学习范式来解决问题。

我们已经知道，现代 LLM 如 Claude Sonnet 可以解决复杂的编码和其他专家导向的问题。那么，如果我们在 RAG 框架中增加更多问题解决能力以增加商业用例，会发生什么呢？

进入知识增强生成

The 知识增强生成论文在人工智能社区引起了轰动，这也是有原因的。基本上，研究人员利用图形的基本特性，开发出一个结合了检索增强生成速度和知识图谱准确性的系统。

问题是，知识图谱很好，但它们在主语-谓语-宾语的范式内工作，而这并不适用于我们很多的数据。知识图谱需要大量的数据预结构化，而当你处理企业知识时，这又是不可能的。

那么，我们如何创新以突破这一限制呢？研究人员利用了图形的基本特性——模块化。

使用模块化映射连接

图形可以是模块化的，即图形中的不同节点可以形成更小的图内社区。因此，类似的实体、概念和事件可以在图形内创建关系。

现在，在知识库的上下文中，这意味着功能将与故障排除、定价结构等相关联。

这是图形的基本特性，知识增强生成（KAG）利用了这一点，但他们的分析还进一步深入。

通过知识增强生成引入的变化

论文的作者正式指出三项变化：

大语言模型特定知识框架 — 他们使用数据 → 信息 → 知识 → 智慧（DIKW）框架来改善传统的主语 → 谓语 → 宾语框架以适应大语言模型的使用。新的知识框架引入了实体类型、事件类型、概念类型和逻辑类型类，以更好地表示不同文本块之间的关系。他们还引入了一个特定领域的专家知识层来处理原始文本块。该专家知识层包含有关概念和底层文本中存在的逻辑规则的信息。例如 — 在医学背景下，原始文本可能会说阿司匹林用于治疗头痛，但知识层会添加规则，说明它不能开给有出血性疾病的患者，并且还包含有关药物结构和非甾体抗炎药的信息。这个专家知识层将您从客户那里收到的原始数据对齐，以创建特定的数据结构。例如 — 在政府用例中，它可以创建如下数据结构：

{ “EntityType”: “GovernmentAffair”, “Administrative_Divisions”: “杭州市西湖区”, “Service_Procedures”: “在线申请或亲自申请。”, “Required_Materials”: [“身份证”, “就业证明”, “房屋租赁协议”] }
推理引擎 — 现在，大语言模型可以找到有关您领域的详细信息。然而，检索增强生成框架仍然必须提供相关信息，并且您需要一个支持的推理框架。

使用上一步的概念库，一个问题被分解为一系列逻辑问题和概念。混合推理器然后使用这些来从原始文本中检索概念，最终检索实例。

本质上，像“在美国内战后，支持对南方州严厉惩罚的政党在2010年控制了哪个机构？”这样的问题被分解为两个逻辑问题，“哪个政党在内战中惩罚南方州” + “这个政党控制了哪个机构？”

然后，使用知识图谱中的结构检索答案，该结构用于回答问题。
在自然语言理解、自然语言推理和自然语言生成方面的改进 — 小模型经过微调，以为所有三项改进产生更好的结果。关于自然语言理解，相似的概念被放在同一类别中，模型被训练以从知识图谱中提取特定实体。关于自然语言推理，研究人员识别了语义关系并利用它们来增加大语言模型对上下文和领域的知识。此外，概念知识也被整合。对于自然语言生成，模型被训练以根据数据点生成特定答案。

本质上，通过结合结构化知识框架，研究人员展示了更好的结果。

KAG的结果

KAG在实验环境中显著优于其他最先进的检索增强生成工作流，如HippoRAG。它还改善了自然语言理解和自然语言推理，并提供了比传统检索增强生成模型更全面的上下文召回能力。

KAG工作流可以产生比检索增强生成管道更好的结果，但它尚未准备好投入生产。

KAG 不会取代 RAG

从技术上讲，我希望能找到一个更全面的解决方案来处理客户服务查询。为 RAG 流水线添加推理能力和更结构化的数据是有意义的。

但 KAG 还未达到这个水平：

它使用 LLMs - 延迟是任何问答交互中的关键问题。LLMs 会将推理时间增加几个数量级。也许领域特定的 SLMs 可以提供帮助，但在当前阶段，为每个行业构建一个单独的微调模型是不切实际的。
成本高昂 - 在当前情况下，为每个问题多次运行 LLM 所需的计算资源效率低下。虽然研究人员提出了替代方案，但大量的调用和令牌限制仍然是 KAG 的一个重大问题。
延迟 - 在实验设置中，回复的延迟并不重要。然而，在客户服务场景中，LLM 的较慢速度与需要进行的多个 API 调用的结合将限制性能。

因此，不，KAG 不会很快取代 RAG，但也许我们可以从中获得一些教育线索，以改善我们当前系统的工作方式。