解锁效率：提升LLM训练的群体相对政策优化综合指南

Rifx.Online
Reinforcement Learning , Large Language Models , AI Research
05 Mar, 2025

GRPO 简介：一种用于 LLM 推理训练的高效策略优化方法

简介

强化学习 (RL) 已成为一种强大的工具，用于在大型语言模型 (LLM) 的初始训练之后增强其能力，尤其是在需要大量推理的任务中。DeepSeek 最近在 DeepSeek-Math [2] 和 DeepSeek-R1 [3] 模型方面的突破，证明了 RL 在提高 LLM 的数学推理和问题解决能力方面的巨大潜力。

这些成就得益于一种名为 Group Relative Policy Optimization (GRPO) 的创新 RL 方法，该方法解决了将 RL 应用于语言模型的独特挑战。在这篇文章中，我们将深入探讨 GRPO 的工作原理，以及它为何代表了 LLM 训练的重大进步。

PPO vs GRPO

Proximal Policy Optimization (PPO) [1] 一直是用于语言模型 RL 微调的首选算法。PPO 的核心是一种策略梯度方法，它使用裁剪来限制策略更新（梯度），从而防止破坏性的大的策略变化。PPO 的目标函数可以写成：

GRPO — 首次在 [2] 中引入 — 建立在 PPO 的基础上，但引入了几项关键创新，使其更高效，更适合语言模型：

无需值网络，因此更少的内存/计算使用
使用组采样进行更有效的稳定优势估计
通过进一步惩罚目标和奖励，使用更保守的更新机制

GRPO：更深入的了解

LLM 作为策略

在 GRPO 中，语言模型充当策略网络 (actor)，将问题 q 作为输入观察 s，并生成一系列 token 作为动作。策略分布在 token 上分解：

**注意：**在原始论文 [2] 中，他们使用 o_t 来表示时间步 t 的输出 token。而我们使用 a_t 来符合标准的 RL 动作符号。

顺序 token 生成

由于 transformer/LLM 的自回归性质，生成过程本质上是顺序的：

每个 token 都是根据之前的 token 有条件生成的
策略网络 (LLM) 维护一个运行上下文
每个 token 生成步骤都可以被视为 RL 框架中的一个动作 a_t

奖励和优势计算

对于每个生成的序列，GRPO 按如下方式计算每个 token 的奖励：

GRPO 不使用值网络，而是通过对从参考策略中采样多个不同输出获得的奖励组（批次）进行归一化来估计基线优势 A，这些输出是针对与输入相同的问题生成的：

GRPO 目标

对于每个问题 𝑞，GRPO 从旧策略 𝜋𝜃𝑜𝑙𝑑 中采样一组输出 {𝑜1, 𝑜2, · · · , 𝑜𝐺}，然后通过最大化 GRPO 目标来优化策略模型。完整的 GRPO 目标将所有内容整合在一起：

此目标：

在组和序列长度上取平均值
使用裁剪进行保守更新
包含 KL 散度的估计值作为惩罚，以防止与参考模型产生较大偏差

结论

GRPO 代表了将 RL 应用于语言模型的重大进步。通过消除对值网络的需求并引入组相对优势估计，它提供了一个更高效和稳定的训练过程。DeepSeek-Math 和 DeepSeek-R1 的成功证明了这种方法的实际好处。

GRPO 的关键创新 — 组采样、相对优势估计以及消除值网络 — 为 LLM 训练的未来发展提供了蓝图。随着我们继续突破语言模型可以实现的界限，像 GRPO 这样的技术对于释放其全部潜力至关重要。

参考文献

[1] Schulman, John, et al. Proximal Policy Optimization Algorithms. arXiv:1707.06347, arXiv, 28 Aug. 2017. arXiv.org, https://doi.org/10.48550/arXiv.1707.06347.

[2] Shao, Zhihong, et al. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. arXiv:2402.03300, arXiv, 27 Apr. 2024. arXiv.org, https://doi.org/10.48550/arXiv.2402.03300.

[3] DeepSeek-AI, et al. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948, arXiv, 22 Jan. 2025. arXiv.org, https://doi.org/10.48550/arXiv.2501.12948.