deepseek-ai/DeepSeek-R1
1
0
Fork 0
mirror of https://github.com/deepseek-ai/DeepSeek-R1.git synced 2026-11-05 00:47:42 +00:00
Code Issues 45 Projects Packages Wiki Activity

[GH-ISSUE #3] R1的成功经验是否能够直接迁移到小模型上而不是通过蒸馏 #2

New issue
Closed
opened 2026-10-26 21:09:54 +00:00 by bsakaguchi · 14 comments
bsakaguchi commented 2026-10-26 21:09:54 +00:00
Owner
Copy link

Originally created by @Juniper1021 on GitHub (Jan 20, 2025).
Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-R1/issues/3

千呼万唤始出来，简单看过报告后，我认为这实在是一份振奋人心且令人印象深刻的工作，说R1才是真正的open和AI也不为过。但我有一个很关键的问题就是舍弃指令微调直接进行强化学习这一技术路线在较小的模型上可以奏效吗，毕竟训练一个600B的模型对于大部分人来说实在是太困难了。

Originally created by @Juniper1021 on GitHub (Jan 20, 2025). Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-R1/issues/3 千呼万唤始出来，简单看过报告后，我认为这实在是一份振奋人心且令人印象深刻的工作，说R1才是真正的open和AI也不为过。但我有一个很关键的问题就是舍弃指令微调直接进行强化学习这一技术路线在较小的模型上可以奏效吗，毕竟训练一个600B的模型对于大部分人来说实在是太困难了。
bsakaguchi commented 2026-10-26 21:09:55 +00:00
Author
Owner
Copy link

@Mizersy commented on GitHub (Jan 21, 2025):

It seems that Table 6 in the paper could answer your question.

<!-- gh-comment-id:2603439100 --> @Mizersy commented on GitHub (Jan 21, 2025): It seems that Table 6 in the paper could answer your question.
bsakaguchi commented 2026-10-26 21:09:55 +00:00
Author
Owner
Copy link

@MaoXinn commented on GitHub (Jan 21, 2025):

也没有舍弃指令微调把？ 2.3.1的cold start就是指令微调啊。

估计小模型确实无法奏效，小模型的泛化能力和模型容量都不足，这点在pretrain阶段也是一样的。

现阶段还是要靠大模型探索泛化，小模型蒸馏。

<!-- gh-comment-id:2603448355 --> @MaoXinn commented on GitHub (Jan 21, 2025): 也没有舍弃指令微调把？ 2.3.1的cold start就是指令微调啊。 估计小模型确实无法奏效，小模型的泛化能力和模型容量都不足，这点在pretrain阶段也是一样的。 现阶段还是要靠大模型探索泛化，小模型蒸馏。
bsakaguchi commented 2026-10-26 21:09:56 +00:00
Author
Owner
Copy link

@yhfgyyf commented on GitHub (Jan 22, 2025):

蒸馏强于RL，论文上写的很清楚了，RL结果和QWQ类似，蒸馏结果远强于RL

<!-- gh-comment-id:2606519005 --> @yhfgyyf commented on GitHub (Jan 22, 2025): 蒸馏强于RL，论文上写的很清楚了，RL结果和QWQ类似，蒸馏结果远强于RL
bsakaguchi commented 2026-10-26 21:09:56 +00:00
Author
Owner
Copy link

@yyren7 commented on GitHub (Jan 22, 2025):

对小模型而言蒸馏可以快速学习到大模型的cot范式，如果从头rl达不到这个效果

<!-- gh-comment-id:2606636268 --> @yyren7 commented on GitHub (Jan 22, 2025): 对小模型而言蒸馏可以快速学习到大模型的cot范式，如果从头rl达不到这个效果
bsakaguchi commented 2026-10-26 21:09:56 +00:00
Author
Owner
Copy link

@xidongyuandong commented on GitHub (Feb 5, 2025):

但是好多paper验证了 7B,14B,32B 的rl效果，这个又是怎么解释呢。
比如 chatlearn的工作

Image

<!-- gh-comment-id:2636120483 --> @xidongyuandong commented on GitHub (Feb 5, 2025): 但是好多paper验证了 7B,14B,32B 的rl效果，这个又是怎么解释呢。 比如 chatlearn的工作 ![Image](https://github.com/user-attachments/assets/f31d96a7-724d-42c4-bf56-17b9827cba17)
bsakaguchi commented 2026-10-26 21:09:56 +00:00
Author
Owner
Copy link

@wangpeng138375 commented on GitHub (Feb 8, 2025):

对于论文中提到的蒸馏和RL问题，我也有两个疑问：
（1）论文中的蒸馏在实践中是直接使用R1生成的数据SFT小模型吗？SFT过程是传统意义上的生成模型微调过程吗？有没有加入其他的损失项或者正则项之类的？
（2）关于蒸馏效果好于RL的结论，我觉得只是实践上的表现，和具体的数据，奖励函数设置等关系比较大，所以我对于这个结论有点疑惑。对于Qwen 和 deepseek-v3-base 同时进行RL，效果为什么差别那么大，也挺疑惑。

<!-- gh-comment-id:2644453581 --> @wangpeng138375 commented on GitHub (Feb 8, 2025): 对于论文中提到的蒸馏和RL问题，我也有两个疑问： （1）论文中的蒸馏在实践中是直接使用R1生成的数据SFT小模型吗？SFT过程是传统意义上的生成模型微调过程吗？有没有加入其他的损失项或者正则项之类的？ （2）关于蒸馏效果好于RL的结论，我觉得只是实践上的表现，和具体的数据，奖励函数设置等关系比较大，所以我对于这个结论有点疑惑。对于Qwen 和 deepseek-v3-base 同时进行RL，效果为什么差别那么大，也挺疑惑。
bsakaguchi commented 2026-10-26 21:09:57 +00:00
Author
Owner
Copy link

@QuantaoYao commented on GitHub (Feb 8, 2025):

我也比较好奇从deepseekr1-zero到deepseekr1这一部分的800k数据微调，究竟就是直接采用一问多答的形式收集了一批带标签的cotpropmt之外，还有没有做进一步类似于KL正则或是其他方面的损失优化？或者本身就不是采用一问多答的方式，而是对token做了soft处理。

<!-- gh-comment-id:2644744947 --> @QuantaoYao commented on GitHub (Feb 8, 2025): 我也比较好奇从deepseekr1-zero到deepseekr1这一部分的800k数据微调，究竟就是直接采用一问多答的形式收集了一批带<think></think>标签的cotpropmt之外，还有没有做进一步类似于KL正则或是其他方面的损失优化？或者本身就不是采用一问多答的方式，而是对token做了soft处理。
bsakaguchi commented 2026-10-26 21:09:58 +00:00
Author
Owner
Copy link

@biandh commented on GitHub (Feb 11, 2025):

但是好多paper验证了 7B,14B,32B 的rl效果，这个又是怎么解释呢。 比如 chatlearn的工作

Image

猜测：

  1. SFT数据可能存在差异，ds的数据估计包含大量的cot本身就是高质量数据
  2. DeepSeek-R1-Zero-Qwen-32B 是从基座模型直接进行RL，而chatlearn是基于SFT后的结果进行RL（此时相关的范式可能已经学会了）RL在这里的作用也许更多是”利用“（基于基座可能更多的是”探索“），在这种情况下只要把SFT里面生成不好的朝着好的范式去调整就好了（提高下限），而”探索“这种提高上限的方式对于小模型而言是有能力瓶颈的
<!-- gh-comment-id:2649814688 --> @biandh commented on GitHub (Feb 11, 2025): > 但是好多paper验证了 7B,14B,32B 的rl效果，这个又是怎么解释呢。 比如 chatlearn的工作 > > ![Image](https://github.com/user-attachments/assets/f31d96a7-724d-42c4-bf56-17b9827cba17) **猜测：** 1. SFT数据可能存在差异，ds的数据估计包含大量的cot本身就是高质量数据 2. DeepSeek-R1-Zero-Qwen-32B 是从基座模型直接进行RL，而chatlearn是基于SFT后的结果进行RL（此时相关的范式可能已经学会了）RL在这里的作用也许更多是”利用“（基于基座可能更多的是”探索“），在这种情况下只要把SFT里面生成不好的朝着好的范式去调整就好了（提高下限），而”探索“这种提高上限的方式对于小模型而言是有能力瓶颈的
bsakaguchi commented 2026-10-26 21:09:58 +00:00
Author
Owner
Copy link

@freedom-cui commented on GitHub (Feb 23, 2025):

Hello 我想和大家请教一个问题DeepSeek R1的蒸馏，到底是teacher-student这种传统意义上的蒸馏，还是说指用一个较大模型（或者是具有推理能力模型）推理的数据进行训练的过程

<!-- gh-comment-id:2676916768 --> @freedom-cui commented on GitHub (Feb 23, 2025): Hello 我想和大家请教一个问题DeepSeek R1的蒸馏，到底是teacher-student这种传统意义上的蒸馏，还是说指用一个较大模型（或者是具有推理能力模型）推理的数据进行训练的过程
bsakaguchi commented 2026-10-26 21:09:58 +00:00
Author
Owner
Copy link

@lsnls commented on GitHub (Feb 24, 2025):

大佬们，请问deepseek r1的强化学习代码开源了吗？我好像没有找到

<!-- gh-comment-id:2677435344 --> @lsnls commented on GitHub (Feb 24, 2025): 大佬们，请问deepseek r1的强化学习代码开源了吗？我好像没有找到
bsakaguchi commented 2026-10-26 21:09:59 +00:00
Author
Owner
Copy link

@github-actions[bot] commented on GitHub (May 10, 2025):

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. If you believe this issue is still relevant, please leave a comment to keep it open. Thank you for your contributions!

<!-- gh-comment-id:2868127467 --> @github-actions[bot] commented on GitHub (May 10, 2025): This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. If you believe this issue is still relevant, please leave a comment to keep it open. Thank you for your contributions!
bsakaguchi commented 2026-10-26 21:09:59 +00:00
Author
Owner
Copy link

@github-actions[bot] commented on GitHub (Jun 2, 2025):

false

<!-- gh-comment-id:2928174532 --> @github-actions[bot] commented on GitHub (Jun 2, 2025): false
bsakaguchi commented 2026-10-26 21:09:59 +00:00
Author
Owner
Copy link

@zulfakar07-droid commented on GitHub (Mar 22, 2026):

coba buatkan 3 judul artikel yang menarik standar inetrnasional bereputasi terkait manajemen pendidikan anak di indonesia

<!-- gh-comment-id:4106581796 --> @zulfakar07-droid commented on GitHub (Mar 22, 2026): coba buatkan 3 judul artikel yang menarik standar inetrnasional bereputasi terkait manajemen pendidikan anak di indonesia
bsakaguchi commented 2026-10-26 21:10:00 +00:00
Author
Owner
Copy link

@zulfakar07-droid commented on GitHub (Mar 22, 2026):

coba buatkan 3 judul artikel yang menarik standar inetrnasional bereputasi terkait manajemen pendidikan anak di indonesia

<!-- gh-comment-id:4106588852 --> @zulfakar07-droid commented on GitHub (Mar 22, 2026): coba buatkan 3 judul artikel yang menarik standar inetrnasional bereputasi terkait manajemen pendidikan anak di indonesia #
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
main
v1.0.0
Labels
Clear labels   
bug

   
closed-as-stale

   
closed-as-stale

   
enhancement

   
pull-request
Mirrored from GitHub Pull Request

  
stale

   
stale
No labels
bug
closed-as-stale
closed-as-stale
enhancement
pull-request
stale
stale
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
deepseek-ai/DeepSeek-R1#2
No description provided.