提高 Ai 助手性能：在 Adobe 体验平台中进行持续评估的 5 个关键策略
- Rifx.Online
- Generative AI , Large Language Models , AI Applications
- 26 Feb, 2025
Adobe Experience Platform中的AI助手
Adobe Experience Platform中的AI助手 代表了在生成式AI时代构建企业级应用程序的重大进步。本文提供了关于我们如何进行评估和持续改进的幕后故事，详细内容见我们的研究论文，企业AI助手的评估与持续改进.
企业用户在尝试从数据中提取见解时经常面临显著的摩擦。对话式AI助手，如下图所示，承诺简化这一过程，但提供一个可靠、以精确为导向的企业级解决方案却面临独特的挑战：数据源碎片化、客户需求不断变化，以及AI生成错误的风险，这些都会削弱用户信任。
随着我们对这个项目的深入研究，我们遇到了一个关键问题：我们如何在动态的企业环境中有效评估和改进一个不断发展的AI助手？这个挑战远非简单。企业AI助手处理敏感的客户数据，需要适应不断变化的用户基础，并且必须在保持隐私和安全的同时平衡复杂的指标。传统的评估方法在这种情况下显得不足，往往提供不完整或误导性的反馈。
我们的方法
为了解决这些问题，我们开发了一个新颖的评估和持续改进框架。其核心是观察到”并非所有错误都是一样的”。我们采用了一种”基于严重程度”的错误分类法，使我们的指标与真实用户体验相一致（见下表）：
- 严重程度 0 错误：这些是最狡猾的——看似正确但实际上错误的答案，可能会侵蚀用户信任。
- 严重程度 1 错误：用户无法从中恢复的错误答案，导致挫败感。
- 严重程度 2 错误：用户可以通过重新表述来克服的错误，造成轻微的不快。
这种分类法使我们能够优先考虑对用户体验和信任影响最大的改进。这是一个综合方法的一部分，包括：
- 优先考虑受到生产变化直接影响的指标
- 高效分配人工评估人员
- 收集端到端和组件级的指标
- 在所有组件中进行系统范围的改进
这个框架对我们的客户产生了显著的影响。通过关注基于严重程度的错误，我们提供了更可靠和可信赖的 AI 助手。我们以人为本的方法确保改进与真实用户的需求和痛点相一致，如下表所示。
接下来是什么
我们才刚刚开始。我们现在的重点是让Adobe Experience Platform中的AI助手变得更加主动，融入用户的自然工作流程并扩大覆盖范围。我们还在几个关键维度上改进我们的评估框架：
-
在代表生产查询的样本上添加主动评估。这使我们能够预测新功能和改进对错误率的影响。
-
通过将主观判断分解为一系列人类标注者必须回答的较少主观的问题来正式化错误严重性定义。这有助于提高这些错误严重性判断的一致性。
-
使用”LLM-as-judge”注释来扩展评估——这是一个极为活跃的研究领域，我们正在积极致力于将这些方法纳入，特别是对于不需要领域专业知识的注释任务。
要了解更多关于我们工作的内容及其影响，请阅读完整论文 这里。
作者
Akash V. Maharaj, Kun Qian, Uttaran Bhattacharya, Sally Fang, Horia Galatanu, Manas Garg, Rachel Hanessian, Nishant Kapoor, Ken Russell, Shivakumar Vaithyanathan, 和 Yunyao Li
Guang-jie Ren, Huong Vu, 和 Namita Krishnan 也对本文做出了贡献。
