[GH-ISSUE #527] GRPO 到底属于 on-policy 还是 off-policy 呢？ #417

New issue

Closed

opened 2026-10-26 21:21:00 +00:00 by bsakaguchi · 5 comments

bsakaguchi commented

2026-10-26 21:21:00 +00:00

Owner

Originally created by @freedom-cui on GitHub (Mar 3, 2025).
Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-R1/issues/527

十分感谢deepSeek团队所做的所用贡献，我认为这些优秀的开源项目极大的促进和启发了开源社区对LLM进一步的研究和思考。
但是我有几个问题:
1: GRPO 作为一项出色的工作产生了较大的影响，同时推动了RL在LLM中的进一步发展。在阅读《DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models》时我对GRPO产生了一些疑问，该方法本质上到底是属于 on-policy 还是 off-policy呢？根据论文的展示，我认为它应该是属于 off-policy 的一种方法，因为它利用到了“old”对应的历史数据，正是由于GRPO我才开始接触到RL的相关知识，因此对这个问题不知道我这样理解是否正确？

2: GRPO训练时，我发现在同样的GPU上，用同样的数据集和超参数配置。两次的训练loss无法对齐，并且reward在拟合过程中也无法严格对齐。请问在GRPO训练LLM时，我应该更关注loss还是reward呢？是否最终的loss基本一致，或者loss不应该被过度关注而是应该最终的reward基本一致时，就可以大致得到一个效果相当的模型呢？

3: DeepSeek Math 中提出的GRPO在deepSeek R1中是否被进一步优化了呢？如果有的话具体是着重哪些方面的优化呢？

Originally created by @freedom-cui on GitHub (Mar 3, 2025). Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-R1/issues/527 十分感谢deepSeek团队所做的所用贡献，我认为这些优秀的开源项目极大的促进和启发了开源社区对LLM进一步的研究和思考。但是我有几个问题: 1: GRPO 作为一项出色的工作产生了较大的影响，同时推动了RL在LLM中的进一步发展。在阅读《DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models》时我对GRPO产生了一些疑问，该方法本质上到底是属于 on-policy 还是 off-policy呢？根据论文的展示，我认为它应该是属于 off-policy 的一种方法，因为它利用到了“old”对应的历史数据，正是由于GRPO我才开始接触到RL的相关知识，因此对这个问题不知道我这样理解是否正确？ ![Image](https://github.com/user-attachments/assets/b3960f59-0106-4ce9-80c7-55f7186dc778) 2: GRPO训练时，我发现在同样的GPU上，用同样的数据集和超参数配置。两次的训练loss无法对齐，并且reward在拟合过程中也无法严格对齐。请问在GRPO训练LLM时，我应该更关注loss还是reward呢？是否最终的loss基本一致，或者loss不应该被过度关注而是应该最终的reward基本一致时，就可以大致得到一个效果相当的模型呢？ 3: DeepSeek Math 中提出的GRPO在deepSeek R1中是否被进一步优化了呢？如果有的话具体是着重哪些方面的优化呢？

bsakaguchi

2026-10-26 21:21:00 +00:00

closed this issue
added the
stale

closed-as-stale
labels

bsakaguchi commented

2026-10-26 21:21:01 +00:00

Author

Owner

@TimoFan1998 commented on GitHub (Mar 4, 2025):

我也抛砖引玉一下，我认为off policy是需要PRM来预测reward的，因此GRPO是属于on policy范畴吧？

@TimoFan1998 commented on GitHub (Mar 4, 2025): 我也抛砖引玉一下，我认为off policy是需要PRM来预测reward的，因此GRPO是属于on policy范畴吧？

bsakaguchi commented

2026-10-26 21:21:01 +00:00

Author

Owner

@Harrison-cc commented on GitHub (Mar 7, 2025):

我觉得应该是 off policy
可以搜一下李宏毅老师的课, 有个专栏前三个视频介绍了 PPO
on 到 off 的一个关键点, 我的理解应该是从原分布采样训练模型转到新的分布采样训练模型, PPO 和 GRPO 的公式上都符合转到新的分布采样了
ps:我也是因为 GRPO 才接触 RL, 所以不知道理解是否准确

@Harrison-cc commented on GitHub (Mar 7, 2025): 我觉得应该是 off policy 可以搜一下李宏毅老师的课, 有个专栏前三个视频介绍了 PPO on 到 off 的一个关键点, 我的理解应该是从原分布采样训练模型转到新的分布采样训练模型, PPO 和 GRPO 的公式上都符合转到新的分布采样了 ps:我也是因为 GRPO 才接触 RL, 所以不知道理解是否准确

bsakaguchi commented

2026-10-26 21:21:01 +00:00

Author

Owner

@TimoFan1998 commented on GitHub (Mar 12, 2025):

@Harrison-cc谢谢分享，仔细查阅了资料GRPO应该和PPO一样都采用了重要性采样，也就是使用了Reference model，因此二者同样都是off policy。ps：我同样是刚刚开始学习RLHF

@TimoFan1998 commented on GitHub (Mar 12, 2025): @Harrison-cc谢谢分享，仔细查阅了资料GRPO应该和PPO一样都采用了重要性采样，也就是使用了Reference model，因此二者同样都是off policy。ps：我同样是刚刚开始学习RLHF

bsakaguchi commented

2026-10-26 21:21:01 +00:00

Author

Owner

@github-actions[bot] commented on GitHub (Apr 18, 2025):

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. If you believe this issue is still relevant, please leave a comment to keep it open. Thank you for your contributions!

@github-actions[bot] commented on GitHub (Apr 18, 2025): This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. If you believe this issue is still relevant, please leave a comment to keep it open. Thank you for your contributions!

bsakaguchi commented

2026-10-26 21:21:02 +00:00

Author

Owner

@github-actions[bot] commented on GitHub (May 21, 2025):

false

@github-actions[bot] commented on GitHub (May 21, 2025): false