mirror of
https://github.com/deepseek-ai/DeepSeek-R1.git
synced 2026-11-05 00:47:42 +00:00
[GH-ISSUE #630] LLM大数乘法准确性与LLM推理创新能力缺陷的共同本质——训练模式奖惩的错误引导 #508
Labels
No milestone
No project
No assignees
1 participant
Notifications
Due date
No due date set.
Dependencies
No dependencies set.
Reference
deepseek-ai/DeepSeek-R1#508
Loading…
Add table
Add a link
Reference in a new issue
No description provided.
Delete branch "%!s()"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Originally created by @LinUser-000 on GitHub (Apr 13, 2025).
Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-R1/issues/630
LLM大数乘法准确性与LLM推理创新能力，看似是两个不同的问题，但是这两个问题的特征，或者说展现出来的形式，具有极大的相似性：
在训练当中高概率出现的范围内，表现出较好的效果。
在训练当中低概率出现甚至于没有出现的范围内，具有一定的正确思路方向，但是难以得到正确的结果。
这两个问题特征展现出来的极大相似性，或许可以这样说：
LLM大数乘法准确性是LLM推理创新能力的一个小而具体的部分展现。
LLM推理创新能力是LLM大数乘法准确性的本质根源性问题。
这说明目前的训练模式让LLM学会的重点，是一种概率分布，缺乏了严谨连续的逻辑推理能力。
这种概率分布也并非一无是处，其可以帮LLM在训练当中低概率出现甚至于没有出现的范围内，找到有正确价值的思路方向。
而且导致这种现象的原因，有可能并不是LLM的架构问题，而是目前的这种训练模式的问题。
即有可能问题的关键，在于目前训练模式奖惩的错误引导。
目前LLM的数学训练模式奖惩，似乎是重视最终结果的正确性，而忽视了推理过程的严谨性和连续性。
然而数学逻辑推理的本质，是有正确价值的思路方向和过程的严谨性和连续性，而不是最终的结果正确性。
或者这么说：
当一个数学推理是在有正确价值的思路方向上严谨且连续的进行时，其结果自然也必然是正确的。
但是当一个数学的结果是正确时，其推理的过程有可能是不严谨不连续的。
同样的当我们人类遇到一个难以立刻解决的数学问题，我们更希望的是即便不完整，但是阶段性的严谨且连续，而不会希望的是虽然很完整，但是过程不严谨不连续。
这也和目前LLM数学训练模式，无论如何都必须要完整而不能够阶段性相违背。
所以，一种更好的LLM数学训练模式，或许不应该是目前训练模式奖惩的，必须要有结果的完整性以及最终结果的正确性。
或许应该将推理过程的严谨性和连续性，作为LLM数学训练模型的奖惩的重点。
即便没有得到最终结果，而仅仅是一个阶段性的严谨且连续的结果，也是可以接受的。
除非我们是想让LLM学会9×9乘法口诀表式的思维模式，否则不需要也不应该把最终结果的正确性直接反馈给AI，作为奖惩机制的一部分。
把最终结果的正确性直接反馈给AI，作为奖惩机制的一部分，只会诱导LLM对最终结果进行概率模拟。
训练LLM数学能力，直接反馈的只应该有两个方面：思路方向的正确性，以及推理过程的严谨性连续性。
最终结果的正确性也有用，只是作为一道保险再次检验思路方向的正确性，以及推理过程的严谨性连续性。
但是需要禁止把最终结果的正确性直接反馈给AI，作为奖惩机制的一部分。
@LinUser-000 commented on GitHub (Apr 13, 2025):
提高LLM大数乘法等数学计算的准确性问题——明确LLM的大数据运算100%正确范围 #610
目前，LLM解决大数乘法等一些数学问题的计算，是一种基于过往大数据经验的运算，类似于人类通过背诵9×9乘法口诀表进行计算。
这种基于过往大数据经验，而非严格遵循数学运算规则的方式，虽然可以像口诀表一样，快速得出结果。
但是由于没有严格遵循数学运算规则，导致在超出过往大数据的情况下，如大数乘法时，会出现无法得到准确答案的情况。
LLM的大数据式的计算方法不同于人类，即便有较好的解决思路，却难以计算出准确的答案。
这是因为LLM自身无法明确，LLM自己大数据式计算100%正确的范围。
是99×99的口诀表，还是999×999的口诀表，可以100%正确计算？
导致LLM误以为自己对于任意范围内的大数据计算都是100%正确的。
LLM无法在超出自己大数据计算100%正确的范围时，及时放弃完全的大数据计算方法，转换成基于大数据和数学运算规则进行严格运算。
因此，让LLM可以明确自己的大数据运算100%正确范围，当超出大数据运算100%正确范围时，LLM可以基于100%正确大数据运算和数学运算规则进行严格运算，是提高LLM大数乘法等数学计算的准确性的一种可行途径。
除此之外，还有可能和LLM的注意力机制有关。
在大数乘法等一些数学问题的计算当中，文字性的解决思路需要较长的注意力机制，但是数学符号性的计算则并不需要较长的注意力机制，甚至于过长的注意力机制会造成干扰，就像大海捞针测试一样。
回顾人类手动计算大数乘法的过程，在确定了解决方法之后，人类在计算过程当中，只会将注意力集中在正进行计算的一位数与一位数的乘法。
在不必要的情况下，既不会考虑之前已经完成计算的部分，也不会考虑原本的大数是什么。
因为这些都只会干扰正在进行的一位数与一位数的乘法计算，只会起到负面影响。
想让LLM实现这种模式，个人目前想到的有两种方法：
方法一 注意力动态调整机制
构建LLM的注意力动态调整机制，让其在数学计算过程当中，只注意当前正在计算的最小部分，如一位数与一位数的乘法计算，完全不注意非当前正在计算的最小部分，排除其他干扰。
方法二 新建空白草稿机制
如果构建LLM的注意力动态调整机制在技术上难以很快实现，可以暂时先采用新建空白草稿机制。
对于原本的LLM对话框只负责非计算求结果的部分（可以列式子，但是不出结果），将所有的最小计算求结果部分，都由一个新建空白草稿LLM进行计算，将新建空白草稿的计算结果再填写到原本的LLM当中。
每一个最小计算求结果，都新建一个全新的空白草稿LLM进行计算，以实现LLM强制性的注意力集中计算。
@LinUser-000 commented on GitHub (Apr 13, 2025):
培养测试AI的推理创新能力——从无数学的【纯净】AI开始 #628
对于目前的AI，有一个众说纷纭的方面，就是AI到底是否具备推理甚至于创新的能力？
我们难以准确的判断，AI到底是真的在推理创新，还是仅仅因为训练数据库涵盖了一样的案例。
问题的关键在于，我们需要明确的知道，AI训练数据库的确定边界。
个人想到了一个思路，或许我们可以通过构建一个无数学的【纯净】AI开始。
然后培养以及测试AI的推理创新能力。
先利用目前的AI大模型，将原本最初始的训练数据进行分类。
分类得到一个仅仅包含语言，不包含任何数学知识的【纯净】数据库。
根据这个仅仅包含语言，不包含任何数学知识的【纯净】数据库，训练出一个全新的不具备任何数学知识的【纯净】AI。
然后再使用目前的AI大模型，将原本被剔除的，包含各种数学知识的训练数据，进行标签分类，明确不同训练数据包含的数学知识。
确保我们使用其中一部分数学训练库去训练时，AI不会接触到我们不想让AI了解的数学知识。
即可以精准的把握AI训练过，和没有训练过的数学知识。
最后再让AI大模型，通过提问诱导等方式，帮助完全没有数学知识的【纯净】AI，按照人类数学发展顺序，或者是更加合理的顺序，【从基数开始】一步步构建起，起初完全没有数学知识的【纯净】AI的数学体系。
【从基数开始】一步步构建数学体系的过程，既是一个培养的过程，也可以在这个过程当中的很多阶段进行测试观察。
以测试确定这个最初完全没有数学知识的【纯净】AI，是否真的具备了推理和创新能力。
除非我们是想让LLM学会9×9乘法口诀表式的思维模式，否则不需要也不应该把最终结果的正确性直接反馈给AI，作为奖惩机制的一部分。
把最终结果的正确性直接反馈给AI，作为奖惩机制的一部分，只会诱导LLM对最终结果进行概率模拟。
训练LLM数学能力，直接反馈的只应该有两个方面：思路方向的正确性，以及推理过程的严谨性连续性。
最终结果的正确性也有用，只是作为一道保险再次检验思路方向的正确性，以及推理过程的严谨性连续性。
但是需要禁止把最终结果的正确性直接反馈给AI，作为奖惩机制的一部分。
@guanquanchen commented on GitHub (May 8, 2025):
这是一个困难的问题，这涉及到学习的本质，到底是记录信息还是创建模型。 需要模型内部再去 具备生成模型和验证模型的能力。
结果总是具有结构性的，从多个侧面获得相关信息，不断地验证其信息和对象是否具有关联性，确定目标是一个自洽的即时构建的信息模型。
LLM【检索能力，分析能力，验证能力】-->问题[关于问题的若干信息，场景信息，时序信息，模型要求]---->即时模型------>信息团
还应当具备一些基本的思维流程，比如采取系统分析，确定系统的场景和功能以后，分析要素，接着分析要素之间的关系，抓住它们演化过程中涌现出来的各种各样的特征，尝试着看看从那些侧面，那些层次出发，可以实现控制。
意思是说，LLM 应该走向结构化，让不同的部分的功能明确起来，使得各个部分可以相互验证，进而使得整体是相对可控的。
@guanquanchen commented on GitHub (May 8, 2025):
在普遍性的训练数据中，很少的材料涉及到 如何思考，基于 模型的分析，采取少量的思维规范，固定的思维流程，规范思考流程，ai给出的结果总是令人满意。
@github-actions[bot] commented on GitHub (Jun 16, 2025):
This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. If you believe this issue is still relevant, please leave a comment to keep it open. Thank you for your contributions!
@github-actions[bot] commented on GitHub (Jul 1, 2025):
false