2025 年企业数据与人工智能趋势:代理、平台和新产品
- Rifx.Online
- Data Science , Artificial Intelligence , Technology
- 27 Dec, 2024
在数据和人工智能这样快速发展的领域中,做出预测尤其困难。然而,我们,Rajesh Parikh 和 Sanjeev Mohan 去年发布了我们的 2024 趋势预测。随着2024年已经过去,我们很高兴地确认我们的预测准确性得到了强有力的验证。考虑到人工智能发展的前所未有的速度,这一成功尤为显著,这种变化在IT行业中是罕见的。
我们在四个主要预测中强调了智能数据平台和人工智能智能体的崛起。尽管这些趋势在2023年并不明显,但人工智能智能体背后的动力现在不可否认,暗示着进一步的加速。人工智能及其智能体的主流化仍在持续进行。
在数据平台方面,我们观察到向智能统一平台的强劲转变,这一转变是由简化用户体验和加速数据与人工智能产品开发的需求驱动的。随着更多供应商进入市场,这一趋势预计将进一步加剧,扩大企业可用的选择。
2025年预期
随着我们接近2025年,企业数据和人工智能的格局将经历重大变革,重塑行业并重新定义人类与技术的互动。我们希望将此文档用作探索这些变革性趋势的工具,而不是简单的预测,我们认为这些趋势需要企业高管和技术管理者给予密切关注。因此,读者应将其作为识别优先事项的指南,并为其组织做好准备,以选择正确的投资方向。
不再赘述,让我们深入探讨我们认为可能主导企业数据和人工智能格局的趋势。图1展示了被分类为应用人工智能、数据与运营以及大胆尝试的趋势。
- 应用人工智能:这些趋势将显著影响企业如何利用人工智能模型进行转型,特别是在代理自动化日常任务和功能方面。随着模型推理的持续进步,这些代理将发展为处理越来越复杂的任务并无缝协作。
- 数据和平台趋势:一个支持结构化和非结构化数据的融合数据和元数据平面将推动人工智能的发展,并作为代理和人工智能应用的基础。多个关键趋势正在汇聚以支持这一愿景,包括数据平台管理的进步和为代理应用开发强大的中间件。
- 大胆尝试:这些雄心勃勃、高风险的努力突破了当前技术的边界,探索今天看似前沿的领域。尽管存在显著的失败风险,但在这些领域的突破有潜力彻底改变行业并重新定义人机交互。
应用人工智能
2025年应用人工智能趋势围绕代理的实际应用和主流采用展开。如图2所示,我们已确定四个关键子主题,预计将在这一领域产生最显著的影响。
接下来,让我们回顾每一个人工智能/人工智能应用趋势。
代理全程
在2025年,我们进入代理人工智能的时代。
以下是关于人工智能代理的摘录以及我们对企业在去年趋势中的建议。对于有兴趣查看详细信息的读者,请访问 [1]
我们认为,AI信息代理是一个可能会持续多年的趋势;然而,考虑到它们的潜力,我们预计2024年将在代理基础设施/工具以及早期采用方面取得显著进展。值得指出的是,我们对当前AI架构在承担更复杂任务方面潜力的理解在很大程度上仍然是潜力,并且仍有相当多未解决的问题。
尽管如此,企业必须以务实的方式构建代理应用程序,并在某个时刻期待当前AI技术在承担越来越复杂的自动化任务方面的差距随着每年过去而缩小。还必须考虑在接下来的12个月内,逐个用例可以实现的自动化程度。这样的项目的演变路径/旅程可能会在这些努力中取得更好的成功。
在2025年,智能自主AI代理在企业中的采用预计将加速,推动因素是对重复任务自动化和增强客户体验的需求不断增长。这些代理将增强人类能力,使我们能够专注于创造性、战略性和复杂的工作。
它们将自动化扩展到需要高水平思维、推理和问题解决的任务——这些任务目前需要大量人类参与。例如,代理可以进行市场研究、分析数据或回答客户支持查询。它们还可以自动化以前由于复杂性、成本或两者而被认为不切实际的复杂多步骤工作流程。
关于AI代理的全面解释、定义和分类请参见 [2]。
AI代理是一个程序或系统,可以感知其环境、推理、将给定任务分解为一系列步骤、做出决策并采取行动,以自主实现这些特定任务,就像人类工作者一样。
我们目前正在见证AI驱动工具的出现,例如开发者副驾驶,每月大约20美元,以及早期阶段的代理如Devin,价格为500美元(仍然代表二级自动化解决方案)。二级AI代理是指可以自主执行某些任务,但仍然需要大量人类监督和干预的代理。
然而,在2025年,我们预计将出现显著更先进的代理,其价格将反映它们所提供的价值。例如,一个专门的代理,能够超越初级市场营销人员在制定部门的顶层漏斗的入站和出站营销策略方面的表现,可能会要价20,000美元。
多代理系统
多代理系统(MAS)使多个自主代理能够协同工作,进行沟通与合作,以应对单个代理无法克服的复杂挑战。MAS中的这种专业化使每个代理能够专注于其专业领域,从而提升系统的整体有效性,因为代理将其独特的技能和知识贡献出来以解决复杂问题。这些代理彼此互动,通常使用多种沟通模式和渠道,以实现各自的目标或整体系统目标。
图3展示了多个代理如何协作以增强组织内部的内容生成。
MAS可以表现出不同级别的控制和不同的架构模式,关于它们如何通过共同的架构模式进行沟通和协调:
- 层级团队: 这种类型的MAS通常采用中央经理或任务分配者来调解沟通。系统内的工作代理仅通过这个中央代理进行沟通,从而防止直接的代理间沟通。
- 对等网络: 在对等网络MAS中,代理之间直接沟通,而不依赖于中央权威。
- 组协作: 这种类型的MAS类似于群聊(例如,Slack、Microsoft Teams),代理订阅相关频道并通过发布-订阅架构进行协调。
与单代理系统不同,单代理系统中一个代理处理多个角色,而MAS则能实现高效的专业化,从而在各种应用中提高性能。MAS对扩展复杂的代理自动化至关重要;将任务过载给单个代理会引入复杂性以及可扩展性/可靠性问题。
我们预见到企业将发展出更多的专业化代理。这些代理必须以团队配置运作,协作与协调以实现更大、更复杂的工作流程。因此,MAS将在以代理驱动的工作流自动化倡议的整体成功中发挥关键作用。
有关MAS必要性的更多示例和讨论,请参阅 [3].
代理管理系统
代理管理系统 (AMS) 促进了 AI 代理的开发、评估、部署和后期监控。通过简化这些代理的创建和改进,AMS 实现了更快的迭代并简化了生命周期管理。它还通过全面的部署前测试和持续的生产监控,确保代理满足预期目标。
图 4 显示了一个典型 AMS 的组件。
一个典型的 AMS 包含以下组件:
- 代理构建器: 代理构建器,通常称为代理框架,促进了新代理的快速创建,并使现有代理的迭代改进成为可能。
- 代理注册表: 代理注册表维护可用代理的目录,并促进访问控制和治理,结合版本管理以确保目标受众的适当访问。
- 代理游乐场: 代理游乐场提供了一个用户友好的即插即用界面,用于 手动 测试代理对各种任务和用户查询的响应。这个环境允许快速评估代理性能。
- 代理实验: 代理实验使 自动化 的部署前评估成为可能。这种结构化的方法通过定义数据集、选择适当的指标、配置环境、分析结果和生成评估报告来评估代理性能。以往运行的实验日志通常也可用。
- 部署与监控: 代理部署涉及在暂存或生产环境中为代理提供必要的资源,而监控则跟踪相关的运行时指标。这确保了代理的可靠性和有效性。
- 聊天用户界面: 聊天用户界面提供了与部署在生产环境中的代理交互所需的用户界面。
我们预计企业将部署大量专门构建的代理,以应对广泛的领域特定任务。AMS 将在帮助组织创建、部署和管理这些代理的整个生命周期中发挥关键作用,从而实现代理企业的愿景。
任务特定模型
尽管像Anthropic的Claude、OpenAI的GPT系列、Google的Gemini和AWS的Nova等领先模型在2024年占据了主导地位,但在任务和领域特定模型的发展方面,尤其是与企业用例相关的方面,出现了一些值得注意的趋势。
图5展示了模型创建过程中的步骤。这个过程通常被称为后训练对齐。
- 监督微调
监督微调(SFT)涉及使用偏好数据集对基础模型(通常是预训练的基础模型或指令调优变体)进行训练。在思维链(CoT)对齐的背景下,数据集中的每条记录通常由(提示、CoT、输出)三元组组成,其中CoT明确引用相关的安全规范。
上下文蒸馏过程创建数据集,首先使用一个仅针对有用性进行训练的模型,并用安全规范和相关提示进行提示。这个过程的结果是一个SFT模型。
2. 强化学习微调
第二阶段采用高计算的强化学习(RL)。该阶段使用评判LLM根据模型对安全规范的遵守程度提供奖励信号,进一步优化模型安全推理的能力。至关重要的是,整个过程在初始规范创建和高层评估之外,几乎不需要人类干预。
CoT推理使LLM能够明确表达其推理过程,从而使其决策过程更加透明和可解释。在RL阶段对齐中,CoT包括对安全规范的引用,展示模型是如何得出其响应的。这使得模型在生成答案之前能够考虑与安全相关的因素。将CoT纳入训练数据使模型学会使用这种推理方式来生成更安全的响应,从而提高安全性和可解释性。此阶段的输出通常被称为**“推理模型”**。
3. 持续微调
持续微调使AI工程师和数据科学家能够将模型适应于特定用例。深度学习工程师和数据科学家现在可以用少至10到1,000个示例对前沿和开源模型进行微调,显著提高针对特定应用的模型质量。这对希望在不投资于广泛后训练基础设施的情况下提高特定用例模型可靠性的企业至关重要。
大多数前沿模型现在提供持续微调API,支持偏好调优和强化学习微调(RLFT),降低了创建任务或领域特定模型的门槛。
此阶段的输出可以称为“任务或领域特定模型”。
开源微调框架,如Hugging Face Transformers Reinforcement Learning (TRL)、Unsloth等,提供类似的OSS模型持续调优能力。例如,Llama模型的早期采用者自发布以来已进行了超过85,000次微调。
在我们继续推动企业的AI主流应用时,我们观察到两个明显的趋势:
- 前沿企业:拥有大量资本投资能力的组织可能会追求后训练开源模型的策略,针对特定领域和用例进行定制,并通过持续微调进一步优化。
- 有抱负的企业:预算较紧张但优先考虑用例可靠性的公司预计将重点关注
有关后训练对齐的进一步阅读,请参阅 [[5]](https://docs.google.com/document/d/1uwbyuBORLTG2qFJln3cLkS6uafYQTF4ta92KubUw8NE/edit?tab=t.0#heading=h.yltnd5f5kz5n)
数据与运营趋势
数据对于成功的人工智能实施至关重要,需要遵循数据管理的最佳实践。2025年数据与运营的主要趋势如图6所示。
让我们深入探讨每一个趋势。
智能数据平台
为了加速数据和人工智能的创新并减少运营开销,我们在2024年提出了一个统一的智能数据和人工智能平台(IDP)。这一统一和简化的努力在主要软件提供商中获得了显著的关注,导致了图7所示的架构。
IDP简化了数据生命周期的集成——存储、处理、分析和机器学习——减少了对分散工具和手动工作的需求。它还提供了一个集中式框架,用于数据治理政策和执行。有关IDP架构的详细概述,请参阅 [1]。
虽然在2024年,成熟科技公司和初创企业的主要产品持续进行功能增强,但数据和人工智能平台在AI代理中的广泛应用仍在进行中。
在2025年,数据平台供应商将继续整合他们的服务,为AI代理和多代理系统创建一个重要的基础,提供这些应用程序所需的信息以进行操作和决策。这些平台抽象出三个关键功能:
- 统一数据平面: 统一数据平面使得各种数据格式的接入、存储、管理和治理成为可能,包括文本(例如,PDF)、图像(例如,PNG、JPEG)和音频/视频(例如,MP3)。这一统一数据平面中的一个关键子趋势是采用开放表格式,如Apache Iceberg、Delta Lake和Apache Hudi。
- 统一元数据平面: 元数据为AI应用提供了关于其处理的数据的重要上下文信息。例如,如果数据是人力资源政策文件,则相关的元数据可能包括文件的版本号、最后修订日期和作者。如果没有丰富的元数据提供这些细节,代理将难以建立足够的上下文并提供预期的功能。
- 多引擎协调器: IDP进一步提供了一个可扩展的协调层,旨在管理和协调各种计算引擎,包括用于分析处理、数据转换和执行AI模型的引擎。
- 治理平面: IDP还充当访问控制、治理和个性化中间件,使代理能够更好地理解用户角色(包括角色、数据访问和查询历史)并个性化响应。
ETL for AI
ETL(提取、转换和加载)是为人工智能和机器学习模型准备原始数据的重要数据集成过程。该过程涉及从各种来源提取数据,通过清理和格式化进行转换,随后将其加载到数据管理或存储系统中,例如之前描述的IDP、数据仓库或向量存储。
虽然企业已经熟悉用于结构化数据的ETL——将数据从操作数据库提取、转换并加载到仓库或数据湖中——但AI的ETL将此过程扩展到涵盖多种数据格式,包括文本(.pdf、.md、.docx)、音频/视频(mp3、mpeg)和图像(jpeg、png)。
这些非结构化数据源可能包括企业使用的各种内容库、应用程序和网络资源。实际上,ETL过程本身可以利用人工智能进行提取任务,例如使用多模态大型语言模型(LLMs)或光学字符识别(OCR)模型从PDF中提取实体(图像、表格和命名实体)。
非结构化数据的ETL 支持多种下游用例:
- 基于AI的洞察:检索增强生成(RAG)使应用程序能够促进用户与文档的交互,提取关键摘要,并支持类似用例。从SharePoint、Dropbox、Notion以及各种云存储库和应用程序中提取和转换数据将成为基于AI的洞察的重要推动力。我们预计供应商将继续抽象RAG,将其集成作为统一数据、分析和AI平台中的一个易于访问的功能。
- AI搜索:与传统关键词搜索相比,提高企业内容的可访问性和智能性。
- 基于AI的自动化:提供来自非结构化数据的必要知识层,为代理提供重要的上下文信息。
- 后训练对齐和持续微调:促进新数据和更新数据的可用性,使各种部门用例的模型实现无缝和持续的个性化。
数据准备就绪性对于人工智能
数据准备就绪性是成功实施任务特定模型和人工智能代理的基础。
这是成功进行此类倡议的关键“先决条件”。
为了使数据能够用于人工智能,数据需要在多个维度上全面准备就绪。虽然人工智能几乎可以利用企业拥有的所有可用数据,但正确的方法是根据优先考虑的用例来推导数据准备就绪的要求。
数据准备就绪性对于人工智能的一些关键维度如图8所示。
数据质量 & 可观察性
这些数据是否通过了既定的质量指标?这可能意味着以下一项或多项:
- 信任
- 新鲜度
- 正确性
- 元数据的完整性
- 血缘
- 合法性/偏见
- 相关性
- 版本控制
上述指标是如何管理、跟踪和实时呈现的?
- 可观察性数据
- 数据血缘
- 修订历史
数据产品用于人工智能
数据产品是任务特定模型、人工智能模型和代理应用的基准测试和测试成功的关键。一些重要的人工智能数据产品包括:
- 训练就绪数据集:标记数据成为一种有价值的数据产品,随时可以用于人工智能训练。
- 思维链(CoT)数据集:与传统数据集不同,传统数据集通常提供训练所需的输入和输出,而CoT数据集还包括解释答案如何得出的中间推理步骤。这种逐步推理的方法与人类解决复杂问题的方式密切相关,使得CoT数据集在训练需要逻辑推理、规划和可解释性任务的人工智能模型时非常有价值。
- 蒸馏数据集:提供一个较小的代表性子集,捕捉整个数据集的多样性和变异性。蒸馏数据集的一些示例包括:
a. 捕捉多样情感水平和产品类别的客户评价子集。
b. 创建的高质量任务特定数据集,用于训练较小的模型(学生模型),以模拟更大、更复杂模型(教师模型)的性能。
c. 为微调技术问答模型而蒸馏的技术文档子集。
4. 合成数据集:用于生成合成数据集的蒸馏数据,这些合成数据集模仿原始数据集的核心属性。它们通常用于增强数据稀缺或不平衡的真实数据集。通过生成变体,模型可以在更具多样性的数据集上进行训练。
5. 知识图谱数据集:由GraphRAG驱动的数据产品利用基于图的数据检索和生成能力。例如,一个连接医学术语、诊断、治疗和患者结果的医疗知识图谱数据集可以用于提供个性化的医疗建议,建议可能的治疗方案,并帮助医生做出基于数据的决策。
6. 用户数据:用户数据在构建更智能、个性化的人工智能应用中至关重要。这些数据通常包括关于用户角色和用户交互或输入的任何信息,人工智能代理或应用使用这些信息来理解用户角色,以提供有意义的输出或响应。用户数据的一些示例如下:
a. 数据分析代理拥有关于用户角色和用户数据集/查询/仪表板交互历史的信息,可以通过过滤和选择适当的数据集访问历史和查询运行来个性化查询响应。
b. 客户支持代理知道用户的客户状态(例如,优质或常规)以及他们过去支持请求的性质,可以利用过去的工单、问题和解决方案来优先响应,提供更快的解决方案,或推荐特定的知识库文章。
c. 销售代理通过分析与潜在客户和客户的过去沟通历史和参与模式,可以个性化后续策略,推荐特定的产品或服务,并根据历史行为优先考虑潜在客户。
月球任务
月球任务项目是雄心勃勃的探索性努力,旨在通过开创性的解决方案来应对重大挑战。这些项目通常推动当前技术的边界,在创新的前沿运作。尽管它们固有地带有高失败风险,但其转型结果的潜力是巨大的。
虽然本节是一个创意探索的空间,但我们希望探索更多如图9所示的投机性概念。
认知代理
认知代理积极且持续地从自身经验中学习,并不断适应和改进。图10展示了认知代理的定义特征。
除了AI代理的通用能力外,认知代理还通常具备其他一些能力:
- 记忆保留
较长的记忆保留能力是认知代理的关键特征之一。记忆保留能力使代理能够回忆先前的对话,通常记住具体事件,包括发生的地点和时间,并常常从中学习。
因此,认知代理具有复杂的记忆架构,包括用于保留的长期存储和特定形式的记忆,例如情节记忆,这使得代理能够回溯到过去,回忆具体事件,包括发生的地点和时间。
情节记忆的一个示例用法可以是回忆先前事件中成功完成任务的步骤。在事件中,当代理再次面临相同的任务时,它可以回忆起在先前成功实例中采取的确切步骤,并更高效地执行此次任务。
2. 从过去的互动中学习
这些代理从过去的互动中学习,并利用这些学习在未来做出更好的决策。
3. 自我意识
这些代理可能进一步意识到自身的构造细节和能力。
它们可以从用户互动中学习,并更新其知识库以获取新的学习。
4. 自我修复
自我修复使代理能够通过添加新功能(例如工具)、从最近的互动中创建偏好数据集以及触发下一个微调任务来扩展其功能。它还可以进一步评估新模型,并在模型注册表中注册新的模型修订,同时生成详细的模型报告供AI工程师审查。
5. 自我升级
可选地,代理可以自我升级到上述创建的新模型修订版。
具身智能体
具身智能体是一种具有物理存在的人工智能代理,如机器人。这个“具身性”至关重要,因为它使智能体能够以与人类相同的方式感知和在物理世界中行动,从而使其能够学习和执行需要对物理空间有深入理解的任务,并对分配的任务进行操作。生成式人工智能有望通过超越传统的基于规则的编程,改变机器人技术,使其能够在更复杂和动态的环境中运行。
图11描绘了企业如何利用这些新型智能体进行广泛的应用。
让我们探讨一下银行如何使用具身智能体。在他们的分支机构,具身客户支持智能体可以启动走进客户的第一次互动,提供个性化的财务建议并帮助进行交易。
在零售行业,具身智能体可以以店内购物助手的形式出现,提供产品信息并引导顾客在商店内购物。在制造业中,这些智能体可以处理需要灵活性和灵巧性的任务,这些任务对人类安全构成危险。
代理网络
多个 AI 代理之间有效的沟通在实现共同目标或解决复杂问题时受到缺乏标准化消息格式、协议和冲突解决机制的阻碍。未来的网络方法必须具备可扩展性、低延迟和安全性,建立代理之间的信任,并保护通信网络免受恶意攻击。
这引出了我们最后一个关于代理网络改进的预期趋势。
有效的代理网络可能会彻底改变代理之间的沟通、协作、协调、完成工作和在企业边界内外学习的方式。这一趋势与内部网和互联网协议标准化的早期阶段以及 Web 2.0 时代社区和论坛的演变相呼应。这些趋势显著增强了人际协作,超越了物理界限。
图 12 显示了建立有效代理网络的四种选择。
所有月球计划趋势的好处都是巨大的。认知代理可以通过分析交换数据、更新自身知识库、分析交换数据、精炼沟通等方式进行学习,类似于人类的学习方式,并加速跨企业边界的创新。
结论
总结一下,应用AI趋势是加速企业中AI代理和应用有效采用的趋势,而数据与运营趋势则提供了支持和加速这些代理应用的坚实基础。此外,月球任务涵盖的主题可能今天看起来很激进,但可能带来下一个变革性的影响。
与往常一样,这项研究的目的是关注技术解决方案,而不是组织影响。自主代理自然引发了对工作岗位流失的担忧,因为预计AI代理将接管重复性任务。企业需要通过批判性地重新定义工作角色和创造围绕创建、管理和与AI协作的新角色,重新发现人类与AI代理之间的协同/协调。因此,这一转型创造了另一个重要任务,因为大多数企业将需要在AI转型的同时,批判性地提升和再培训其员工的技能。
最后,LLM模型架构的任何突破、带来成本效益的自适应知识注入解决方案或在理解和推理能力上显著提高的解决方案,都有可能进一步影响AI应用的基本现实。