Ai Agent 基础设施揭秘：实现真正自主的 4 大支柱！

上下文是驱动人工智能代理的数据。

大多数关于人工智能代理和代理系统的描述都集中在代理在其预期用例中，在许多情况下能够自主行动，而无需用户干预。一些代理采用人机协作模型，只有在遇到不确定性时才会与用户互动，但在典型和确定的情况下仍然能够自主行动。

自主性是人工智能代理的主要定义特征，代理需要一些支持能力以便能够独立于用户输入进行操作。在早期的博客文章中，我们确定了代理人工智能架构的四个要求：

1. 能力和访问 — 代表用户行动的能力，包括对相关系统的权限和经过身份验证的访问。
2. 推理和规划 — 使用推理在结构化思维过程中做出决策——通常被定义为链、树、图或算法——指导代理的行动。
3. 组件协调 — 协调多个部分，包括提示、大型语言模型、可用数据源、上下文、记忆、历史以及潜在行动的执行和状态。
4. 保护机制 — 保持代理专注和有效的机制，包括避免错误的保护措施或在失败时提供有用的诊断信息。

这四个要求各自有不同的基础设施需求。对于能力和访问，主要需求是软件集成和凭证管理。推理和规划主要由大型语言模型和其他人工智能模型支持。保护机制的主题非常广泛，通常与相关的用例特定，因此我们将把它留到未来的文章中。在这里，我想重点讨论协调，以及支持智能协调所需的基础设施，这涉及到大量移动部分和在决策时可能需要的长历史数据和上下文。

组件编排与上下文在人工智能代理中的作用

假设上述前两个要求——包括能力、访问、推理和规划——正常运行，组件编排的主要挑战归结为知识管理。代理系统需要在多个层面上保持意识：其核心任务和目标、各种相关系统的状态、与用户及其他外部系统的交互历史，以及潜在的更多内容。

在大型语言模型（LLMs）中，我们使用“上下文窗口”这一概念来描述在提示时可供模型使用的信息集合。这与提示本身包含的信息不同，也与在模型训练过程中形成的LLM内部知识集合不同。在长文本中，上下文窗口可以被视为在提示时可供LLM使用的“最近历史”信息——这一点在LLMs和提示的架构中是隐含的。

这样，大多数LLMs具有单维的上下文概念，旧的上下文会随着时间的推移而逐渐消失。代理需要一个更复杂的上下文和知识管理系统，以确保在代理需要做出决策时，最重要或最紧急的上下文被优先考虑。

人工智能代理必须跟踪不同类型的上下文，且这些上下文在重要性上有所不同，而不是单一的整体上下文。这可以与计算机系统中的内存进行比较，其中不同类型的存储——缓存、随机存取存储器（RAM）和硬盘——根据可访问性和使用频率服务于不同的目的。

对于人工智能代理，我们可以概念性地将上下文结构化为三个主要层级：

1. 主要上下文 — 代理的核心任务列表或目标。这应始终牢记，指导所有行动。
2. 直接上下文 — 连接的相关系统和即时环境的状态，包括消息系统、数据源、关键API或用户的电子邮件和日历等资源。
3. 外部上下文 — 一般知识，或任何可能相关但并非明确设计为代理系统核心部分的信息。外部上下文可以通过简单的互联网搜索或维基百科提供。或者，它可以是紧急和复杂的，例如来自第三方新闻或更新的意外因素，要求代理动态调整其行动。

这些上下文层级并不是绝对的，它们之间的界限可能非常模糊，还有其他有用的方式来描述上下文类型——但这一概念结构对我们在这里的讨论是有用的。

上下文管理的存储基础设施

人工智能代理的存储需求因管理的上下文类型而异。每个层级——主要上下文、直接上下文和外部上下文——需要不同的数据结构、检索机制和更新频率。关键挑战在于确保高效访问、长期持久性和动态更新，而不使代理的处理管道过载。

与其将上下文视为一个整体实体，人工智能代理更能从混合存储架构中受益，这种架构结合了结构化数据模型和非结构化数据模型。这允许快速查找、语义检索和可扩展持久性，确保在需要时相关上下文可用，同时最小化冗余数据处理。

主要上下文：任务列表和代理目标

主要上下文由代理的核心目标和活动任务组成——推动决策的基础。这些信息必须是持久的、高度结构化的，并且易于查询，因为它指导所有代理的行动。

潜在存储需求：

• 事务性数据库（键值或文档存储）用于结构化任务列表和目标层次结构。
• 低延迟索引以支持快速查找活动任务。
• 事件驱动更新以确保任务反映实时进展。

示例代理实现：

一个管理任务队列的调度助手需要存储：

1. 持久任务（例如，“与Alex安排会议”）及状态更新。
2. 执行历史（例如，“发送初始电子邮件，等待回复”）。
3. 优先级和依赖关系，确保紧急任务优先显示。

一个分布式、高可用的数据存储确保任务被可靠跟踪，即使代理正在处理新的事件和上下文更新。

直接上下文：连接系统的状态

直接上下文包括相关系统的当前状态——日历、消息平台、API、数据库和其他实时数据源。与主要上下文不同，直接上下文是动态的，通常需要结合结构化和实时存储解决方案。

潜在的存储需求：

• 时间序列数据库用于事件日志和实时状态跟踪。
• 缓存层用于频繁访问的系统状态。
• 基于向量的检索用于对最近交互的上下文查询。

示例代理实现：

一个客户支持人工智能代理跟踪实时用户交互，需要存储：

1. 实时对话历史在内存存储中。
2. 会话状态（例如，进行中的支持工单详情）在时间序列数据库中。
3. API响应缓存用于外部系统查找，避免冗余查询。

通过将直接上下文存储结构化为时间敏感和长期数据存储的组合，人工智能代理可以在不产生过多延迟的情况下，意识到它们的环境。

外部上下文：知识检索与适应

外部上下文包括来自代理系统直接控制之外的来源的一般知识和意外更新。这可能涉及从按需搜索查询到动态获取的外部数据，需要灵活的存储和检索方法。与主要上下文和直接上下文紧密关联于代理系统的持续任务和连接系统不同，外部上下文通常是非结构化的，庞大且在相关性上高度可变。

潜在存储考虑：

• 文档存储和知识库 用于持久的、结构化的参考材料。
• 向量搜索 用于查询大量文档数据集，无论是内部还是外部。
• 检索增强生成（RAG） 在响应之前获取相关知识。
• 流式和事件驱动的摄取 用于从外部数据源进行实时更新。

示例代理实现：

一个个人助理在组装关于气候变化研究最新科学发现的报告时，需要：

1. 从外部来源检索科学文章，根据关键词或向量相似性进行过滤以确保相关性。
2. 分析论文之间的关系，使用知识图谱识别趋势。
3. 使用基于LLM的检索增强生成总结关键见解。
4. 通过订阅实时出版源和新闻来源来跟踪最近的更新。

通过围绕快速检索和语义组织构建外部上下文存储，人工智能代理可以持续适应新信息，同时确保检索到的数据保持相关、可信和可操作。

混合存储用于上下文感知的人工智能代理

设计上下文感知的人工智能代理需要在高效访问关键信息和避免内存或处理过载之间取得谨慎的平衡。人工智能代理必须动态决定何时存储、检索和处理上下文，以优化决策。

混合存储架构——集成事务性、向量、时间序列和事件驱动模型——使人工智能代理能够保持上下文持久性、检索效率和自适应智能，这些都是大规模自主性所必需的。实现这种平衡需要在三个关键维度上采取结构化策略：

1. 延迟与持久性 — 经常访问的上下文（例如，活动任务状态）应存储在低延迟存储中，而不太频繁但重要的知识（例如，历史交互）应根据需要从长期存储中检索。
2. 结构化与非结构化数据 — 任务、目标和系统状态受益于结构化存储（例如，键值或文档数据库），而更广泛的知识检索需要非结构化嵌入和图关系以有效捕获上下文。
3. 实时与历史意识 — 某些上下文需要持续监控（例如，实时API响应），而其他上下文（例如，先前的决策或报告）仅在与代理当前任务相关时检索。

鉴于这些不同类型的上下文，人工智能代理需要一种结构化的方法来存储和访问信息。仅依赖大型语言模型的上下文窗口效率低下，因为这限制了代理跟踪长期交互和不断变化情况的能力。相反，上下文应持久存储、动态检索，并根据相关性和紧迫性进行优先级排序。

• 主要上下文（任务和目标） — 存储在事务数据库中以进行结构化跟踪，并在每个推理周期中引用。
• 直接上下文（系统状态和活动数据） — 通过缓存、时间序列存储或事件驱动更新实时维护。
• 外部上下文（知识和动态更新） — 通过向量搜索、检索增强生成（RAG）或基于图的知识表示按需查询。

在实践中，结合短期缓存、持久数据库和外部检索机制的多层次记忆模型对于可扩展的人工智能代理架构是必需的。通过利用混合存储方法，人工智能代理可以：

• 维护 实时意识 对活动系统的监控。
• 仅在相关时检索 历史知识。
• 根据不断变化的需求 动态调整优先级。

通过整合这些存储策略，人工智能代理可以自主运作，在较长时间内保持上下文意识，并对新信息做出动态响应——为真正智能和可扩展的代理系统奠定基础。

混合存储解决方案

为人工智能代理实现混合存储架构需要选择合适的数据库和存储工具，以高效处理不同类型的上下文。最佳选择取决于延迟要求、可扩展性、数据结构兼容性和检索机制等因素。

一个设计良好的人工智能代理存储系统通常包括：

• 事务数据库用于结构化、持久的任务跟踪。
• 时间序列和事件驱动存储用于实时系统状态监控。
• 向量搜索和知识检索用于灵活的非结构化数据访问。
• 缓存和内存数据库用于快速的短期内存访问。

1. 事务和分布式数据库

人工智能代理需要可扩展、高可用的事务数据库，以可靠地存储任务、目标和结构化元数据。这些数据库确保主要上下文始终可用并且高效可查询。

• Apache Cassandra® — 设计用于高可用性和容错的分布式NoSQL数据库。非常适合大规模管理结构化任务列表和代理目标跟踪。
• DataStax Astra DB — 基于Cassandra构建的托管数据库即服务（DBaaS），为需要高耐久性的人工智能应用提供弹性可扩展性和多区域复制。
• PostgreSQL — 一种流行的关系数据库，具有强一致性保证，适合结构化代理元数据、持久任务日志和策略执行。

2. 时间序列和事件驱动存储

对于实时系统监控，人工智能代理需要优化用于日志记录、事件跟踪和状态持久化的数据库。

• InfluxDB — 一种领先的时间序列数据库，设计用于高速摄取和高效查询，非常适合记录人工智能代理活动和外部系统更新。
• TimescaleDB — 针对时间序列工作负载优化的PostgreSQL扩展，适合跟踪人工智能代理工作流和系统事件的变化。
• Apache Kafka + kSQLDB — 一个流数据平台，允许人工智能代理高效地消费、处理和响应实时事件。
• Apache Pulsar — 一个分布式消息和事件流系统，提供多租户、地理复制和分层存储，是大规模人工智能事件处理的强大替代方案。
• Astra Streaming — 基于Apache Pulsar的托管云原生流服务，提供可扩展性、低延迟数据流和简化部署，适用于实时人工智能事件摄取和处理。
• Redis Streams — 一种轻量级解决方案，用于实时事件处理和消息排队，方便人工智能代理在事件发生时保持对新更新的了解。

3. 知识检索的向量搜索

处理非结构化知识的人工智能代理需要高效的方式来存储、搜索和检索嵌入，以进行语义搜索、相似性匹配和检索增强生成（RAG）。一个优化良好的向量搜索系统使代理能够回忆相关的过去交互、文档或事实，而不会过载内存或上下文窗口。

• DataStax Astra DB — 基于Cassandra构建的可扩展托管向量数据库，提供高性能的相似性搜索和多模态检索。Astra将分布式弹性与向量搜索能力结合，成为需要高效处理嵌入的人工智能代理的首选，确保全球可扩展性和高可用性。
• Weaviate — 一种云原生向量数据库，旨在进行语义搜索和多模态数据检索。它支持混合搜索方法，并与知识图谱很好地集成，适合依赖上下文推理的人工智能代理。
• FAISS (Facebook AI Similarity Search) — 一个开源库，用于高性能最近邻搜索，通常嵌入在人工智能管道中，以便在大数据集上快速进行向量查找。虽然不是一个完整的数据库，但FAISS提供了一种轻量级、高速的本地相似性搜索解决方案。

4. 缓存和内存存储

人工智能代理需要低延迟访问频繁引用的上下文，使缓存成为混合存储架构的重要组成部分。

• Redis — 一种高性能的内存键值存储，广泛用于人工智能代理的短期上下文缓存和会话管理。
• Memcached — 一种简单但有效的分布式缓存系统，提供对频繁使用的人工智能代理数据的快速访问。

通过整合这些多样的存储解决方案，人工智能代理可以高效管理短期记忆、持久知识和实时更新，确保在大规模下无缝决策。事务数据库、时间序列存储、向量搜索和缓存的组合使代理能够平衡速度、可扩展性和上下文意识，动态适应新输入。随着人工智能驱动的应用不断发展，选择合适的混合存储架构将对实现自主、响应迅速和智能的代理系统至关重要，这些系统能够在复杂和不断变化的环境中可靠运行。

冒险在人工智能中：AI特工在AI6办公室。由Brian Godsey使用DALL-E生成。

人工智能代理与混合数据库的未来

随着人工智能系统变得越来越复杂，混合数据库对于管理短期和长期记忆、结构化和非结构化数据，以及实时和历史洞察将至关重要。检索增强生成（RAG）、语义索引和分布式推理的进展使得人工智能代理变得更加高效、智能和适应性强。未来的人工智能代理将依赖快速、可扩展和上下文感知的存储，以保持连续性并随着时间做出明智的决策。

为什么选择混合数据库？

人工智能代理需要有效管理不同类型上下文的存储解决方案，同时确保速度、可扩展性和弹性。混合数据库提供了两全其美的解决方案——高速结构化数据与深度上下文检索，使其成为智能人工智能系统的基础。它们支持基于向量的长期知识存储检索、低延迟的事务查找、实时事件驱动更新以及用于容错的分布式可扩展性。

构建可扩展的人工智能数据基础设施

为了支持智能人工智能代理，开发人员应设计存储架构，将多种数据模型结合起来，以实现无缝的上下文管理：

• 向量搜索 + 列式数据 — 将语义上下文与结构化元数据一起存储，以便快速检索
• 事件驱动工作流 — 实时流式更新，以使人工智能代理了解变化的数据
• 全球规模 + 弹性 — 在分布式网络中部署，以实现高可用性和容错性

通过集成事务处理、向量搜索和实时更新，混合数据库如 DataStax Astra DB 为人工智能代理的记忆、上下文感知和决策提供了最佳基础。随着人工智能驱动的应用程序的发展，混合存储解决方案将对实现自主、上下文丰富的人工智能代理至关重要，使其能够在动态和数据密集的环境中可靠运行。

by Brian Godsey, Ph.D. (LinkedIn) — 数学家、数据科学家和工程师 // 在 DataStax 的人工智能和机器学习产品 // 撰写了《像数据科学家一样思考》一书 (Think Like a Data Scientist)