mirror of
https://github.com/deepseek-ai/DeepSeek-R1.git
synced 2026-11-05 00:47:42 +00:00
[GH-ISSUE #566] 提升AI学习效率训练框架的关键——奖惩机制的设立 #452
Labels
No milestone
No project
No assignees
1 participant
Notifications
Due date
No due date set.
Dependencies
No dependencies set.
Reference
deepseek-ai/DeepSeek-R1#452
Loading…
Add table
Add a link
Reference in a new issue
No description provided.
Delete branch "%!s()"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Originally created by @LinUser-000 on GitHub (Mar 12, 2025).
Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-R1/issues/566
提升AI学习效率的本质是：
【尽可能的减少AI遇到新问题时，第一次正确解答前的失败试错思路次数】。
当AI遇到新问题时，AI学习效率的最佳理想状态是：
AI可以通过之前的经验抽象，在这个新问题当中，【一次】就成功迁移运用，正确的解决新问题。
所以提升AI学习效率的奖惩机制，应该是以：
【对于新问题，AI第一次正确解答前的失败试错思路次数，作为奖惩机制】。
而不是把其他的作为，提升AI学习效率的奖惩机制。
之所以限定为AI第一次正确解答前，而不是AI正确解答前，是为了不限制AI的灵活性以及上限。
让AI在第一次正确解答之后，还可以继续进行高效的逻辑推理，而不是第一次正确解答之后就受限了。
@LinUser-000 commented on GitHub (Mar 12, 2025):
提高AI对数据的利用率——培养AI的经验抽象、迁移应用的能力 #551
《Cognitive Behaviors that Enable Self-Improving Reasoners, or, Four Habits of Highly Effective STaRs》：揭示验证、回溯、设定子目标、逆向推理四种习惯是语言模型自我提升的关键，可通过引导和训练数据优化。
当训练数据接近瓶颈时，让AI提高对数据的利用率：在原本一样数据的基础上，让AI可以学会更多的有效信息，或许是提高AI能力的一种有效途径。
经验抽象、迁移应用是提高AI对数据利用率的一种可行途径。
《Cognitive Behaviors that Enable Self-Improving Reasoners, or, Four Habits of Highly Effective STaRs》研究通过合成示范数据（如包含回溯行为的错误答案轨迹）成功引导Llama习得原本缺乏的能力，且无需元学习的复杂架构。这表明，示范学习本身足以诱导认知行为，关键在于数据设计。
因此，可以尝试通过示范学习诱导AI学会经验抽象、迁移应用这种认知行为，再通过强化学习或其他方法，进一步强化AI的经验抽象、迁移应用能力，提高AI对原本数据的利用率，实现AI能力的进一步提升。
@LinUser-000 commented on GitHub (Mar 12, 2025):
提升AI学习效率——打破“独立事件“训练框架 #562
在原始学习信息输入恒定的约束条件下，可以通过增强AI逻辑推理当中经验抽象、迁移运用的能力，实现AI系统学习效率质的提升。
而这需要打破传统强化学习的“独立事件”训练框架，构建“非独立事件”的任务间显式关联的训练框架。
目前AI的强化学习，只强调了“独立事件”训练框架当中，每条信息各自本身的正确与否，只针对这个进行强化学习。
而高学习效率除了强调“独立事件”训练框架当中，每条信息各自本身的正确与否以外，还强调了如何根据这条信息，进行一些【对于正确与否来说，不必要的逻辑推理】。
例如：如何根据这条信息，进行经验的抽象，然后将这种经验抽象，迁移运用到其他信息当中？
这种经验抽象、迁移运用的逻辑推理，对于目前AI的“独立事件”训练框架的强化学习来说，是没有被奖励的逻辑推理，是不必要的、“画蛇添足”的、“跑题”的逻辑推理，所以AI在这方面没有显著的提高。
但是如果想要提高AI的学习效率，恰恰就是需要这种，目前强化学习还没有奖励的“画蛇添足”的、“跑题”的逻辑推理。
而目前AI强化学习无法有效奖励，这种可以提高学习效率的逻辑推理，其根本原因在于：
【目前AI的训练都是“独立事件”训练框架，而高学习效率推理的优势，需要在相互关联的“非独立事件”的任务间显式关联的训练框架当中进行整体观测，才能够体现出其优势，才能够设置其对应的强化学习奖惩机制】。
目前个人想到的相互关联的“非独立事件”的任务间显式关联的训练框架“整体观测有四种方法。
方法一：将训练事件进行分类，将可以进行经验抽象、迁移运用的训练事件放到一个集合当中。
AI不一个事件一个事件的进行“独立事件“强化学习，而是一组事件一个集合的进行“整体”强化学习。
让AI在一个集合内部自己学会经验抽象、迁移运用提高学习效率。
甚至于不需要人为的分集合，直接将所有的训练事件作为一个“整体”进行强化学习，让AI自己去分集合。
其对应的强化学习奖惩机制可以是，“整体”内部失败试错次数的累计添加惩罚。每多一次失败试错就累计添加一部分累计添加惩罚。
注意，将逻辑推理长度设置为奖惩机制有可能并不合适。
方法二：AI具有超长的上下文注意力，已经完成的AI训练事件，都是正在进行的AI训练事件的上文。
将AI的逻辑推理分为A、B两个部分。部分A是，已完成训练事件，和正在进行训练事件之间的共性推理。部分B是，借助部分A解决正在训练事件的推理。
其对应的强化学习奖惩机制可以是，对部分B的失败试错次数进行累计添加惩罚。部分B每多失败试错一次就累计添加一部分一部分累计添加惩罚，让部分B尽可能少的失败试错，尽可能快的解决正在训练的事件。
方法三：专门建立一个经验抽象、迁移运用的动态知识库或专家。
通过借鉴训练AI逻辑推理格式的方法，在一开始的逻辑推理格式当中添加一个部分，填写从动态知识库或专家当中选择的经验抽象，然后在接下来的逻辑推理当中进行迁移运用。在最后的逻辑推理格式当中添加一个部分，总结这个事件的经验抽象，添加到动态知识库或专家当中。
这个方法存在一个，如何保证动态知识库或专家有效动态变化的问题。上一个事件的经验抽象不一定最好的，需要后面的迁移运用反馈进行动态变化。
其对应的强化学习奖惩机制，需要针对动态知识库或专家和逻辑推理两个部分进行设计。
方法四：有别于以上三种方法的直接针对原始“独立事件”训练框架进行修改，方法四则是在保持原始“独立事件”训练框架不变的前提下，进行“二次再训练”。
“二次再训练”是在已经完成了全部原始“独立事件”训练之后，构建任务间显式关联，优化原本的逻辑推理。
这种优化逻辑推理，既包括上面提到的经验抽象、迁移运用，也包括构建动态知识库或专家。
其“二次再训练”对应的强化学习奖惩机制，同样需要针对动态知识库或专家和逻辑推理两个部分进行设计。
@xucjing commented on GitHub (Mar 13, 2025):
buff叠满了，刚加入github，短时间内提一堆抽象需求，这不是给自己挖了坑就是给别人挖了坑，想要官方帮你填补，不太现实。
@LinUser-000 commented on GitHub (Mar 13, 2025):
哈哈哈，并不是想让官方帮忙填补，只是讨论一下想法思路而已。
欢迎大佬指点一二。
@github-actions[bot] commented on GitHub (Apr 14, 2025):
This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. If you believe this issue is still relevant, please leave a comment to keep it open. Thank you for your contributions!
@LinUser-000 commented on GitHub (Apr 16, 2025):
“Dynamic Cheatsheet: Test-Time Learning with Adaptive Memory”
http://github.com/suzgunmirac/dynamic-cheatsheet
这篇论文好像是朝着这个方向改进的，一定程度上打破了独立事件的训练框架，据说效果还不错。
@LinUser-000 commented on GitHub (Apr 17, 2025):
LLM 动态知识库或专家的有效构建及优化模式——多个相同 LLM 协同训练 #634
对于构建动态知识库或专家，如何有效的进行信息提取，以及简化、抽象概括、迁移运用等优化，是其中的一个关键问题。
或许我们可以通过，多个相同的 LLM 进行协同训练，由多个相同的 LLM 组成团队，共同学习和验证知识，来实现动态知识库或专家的有效构建以及优化。
对于每一个需要学习的事件 A，首先使用第一个 LLM（LLM #1）进行从错误到正确的完整训练过程。
LLM #1 在完成学习后，对自身的训练过程进行回顾总结，从而形成针对事件 A 的初步动态知识库或专家归纳。这个归纳代表了 LLM #1 基于自身学习经验对事件 A 的理解和总结。
然后，引入第二个与 LLM #1 完全相同，但尚未接触过事件 A 的 LLM（LLM #2）。
LLM #2 将在接收到 LLM #1 针对事件 A 的初步归纳的前提下，尝试解决事件 A。
如果 LLM #2 能够仅凭 LLM #1 的归纳，就一次性成功完成了事件 A，那么可以认为 LLM #1 的初步归纳是有效的。
反之，如果 LLM #2 无法一次性成功完成事件 A，则表明 LLM #1 的归纳可能存在不足或偏差。
此时，将LLM #2 的失败过程反馈给 LLM #1，使 LLM #1 重新审视其学习过程并重新进行更精确的归纳。
最后，将这个过程继续迭代进行，引入第三个与 LLM #1 、LLM #2 完全相同，但尚未接触过事件 A 的 LLM（LLM #3）来验证 LLM #1 的重新归纳，以此类推，直到能够仅凭 LLM #1 的归纳，一次性成功完成了事件 A。
通过这种多个相同 LLM 相互验证和反馈的方式，来提高知识库或专家系统的准确性和可靠性。
进一步针对动态知识库或专家有效的进行简化、抽象概括、迁移运用也是同理。
需要注意的是：
针对事件的总结归纳以及后续的简化、抽象概括、迁移运用，最好都是由从错误到正确的完整训练的 LLM #1 自己进行，而不是重新由一个全新的LLM进行，这样的效果有可能会更好。
后续的 LLM #2 、LLM #3 、LLM #4 ... 都是与 LLM #1 完全相同但尚未接触过事件 A 的 LLM。
@github-actions[bot] commented on GitHub (Jun 16, 2025):
This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. If you believe this issue is still relevant, please leave a comment to keep it open. Thank you for your contributions!
@github-actions[bot] commented on GitHub (Jul 1, 2025):
false