理解ai代理的风险与定义：为什么完全自主的ai代理不应被开发

偶尔会有一项研究出现，带来一阵清新的空气，并带来一些理智。这篇来自 HuggingFace 的论文就是这样的一篇。

一般来说，HuggingFace 的评论非常平衡，是所有炒作中的理性声音。这项关于 AI Agents 的研究将这一概念分解为其基础，提出了 AI Agents 的定义，并将代理性与 autonomy 进行了对比。

介绍

这项来自 HuggingFace 的研究考虑了 AI Agents 的危险……老实说，我找到的关于 AI Agents 危险和风险的研究非常有限。

一个特别缺乏考虑的领域是对 AI Agents 的恶意攻击，特别是 AI Agents 在网络上导航时容易受到弹出窗口、误导链接等的攻击。

此外，已经出现了向能够在非确定性环境中创建特定计划的系统的过渡和根本转变。

2024 年底，“AI Agents”，即自主目标导向系统，开始被市场营销和部署，成为 AI 技术的下一个重大进展。

什么是AI Agent

理解AI Agent的潜在好处和风险需要对AI Agent的定义有清晰的认识，但定义差异很大。

在AI领域，agent一词可以指从简单的提示和响应系统到复杂的多步骤客户支持工具的任何东西。

为了更好地理解AI Agent是什么，研究回顾了现有的AI Agents、platforms以及关于其潜力的历史文献。

重点关注中心内容（人、系统或工作流程）、语言的清晰度以及所描述的系统类型（例如，区分自主系统和自动系统）。

AI Agent的定义：

能够在非确定性环境中创建上下文特定计划的计算机软件系统。

AI Agents可以在一定程度上表现出autonomy。给定一个目标，它们可以decompose该目标为subtasks并在没有直接人类干预的情况下执行每一个子任务。

AI Agents的级别被定义为使用machine-learned models的系统，并且可以具有不同级别的代理性。

它们还可以在multi-agent systems中结合，其中一个AI Agent的工作流程触发另一个，或者多个代理共同朝着一个目标工作。

代理

将代理归因于AI的哲学基础仍然不确定，这引发了关于AI是否真的能够拥有代理的问题。

这有两个关键的含义：

1. 与更高水平的代理相关的风险并没有被其好处的强大哲学依据所抵消。
2. 与其争论AI是否拥有真正的代理——一个根植于哲学并通常与意图、自由意志和道德责任相关的概念——不如更实际地从自主性来评估AI。

自主性是指AI系统在预定义约束内独立操作的能力，根据其编程和学习过程做出决策，并在没有直接人类干预的情况下适应新输入。

期待未来

期待未来，这为AI Agents的发展指明了几个关键方向：

1. Autonomy: 提高AI Agents的autonomy将对其在各种应用中的有效性至关重要。
2. Interoperability: 确保AI Agents能够与其他系统和技术无缝协作将增强它们的实用性。
3. Ethics: 制定AI Agents的伦理指南，以确保它们以对社会有益的方式行事。
4. Transparency: 改善AI决策过程的透明度，以建立用户的信任。
5. Scalability: 专注于可扩展的解决方案，以便在不同领域和行业中应用。

AI Agents的未来是充满希望的，创新和改进的机会众多。

代理级别的采用

应该广泛采用对代理自主性级别的明确区分。这将使开发者和用户更好地理解系统的能力及相关风险。

人类控制机制

开发强大的框架，无论是技术还是政策基础，确保有意义的人类监督，同时保留有益的半自主功能是至关重要的。这包括创建可靠的覆盖系统和为AI Agents建立明确的操作边界。

安全验证

必须创建新方法来验证 AI Agents 是否保持在预期的操作参数内，并且不能覆盖人类指定的约束。

AI Agents 的发展代表了人工智能中的一个关键转折点。历史表明，即使是经过良好工程设计的自主系统，也可能因微不足道的原因而发生灾难性错误。

虽然增加自主性在特定环境中可以带来显著的好处，但人类的判断和情境理解仍然不可或缺，特别是在高风险决策中。访问 AI agent 操作的环境至关重要，使人类能够干预并在系统的自主性偏离人类价值观和目标时说“不”。