[GH-ISSUE #658] 提升目前 LLM 的一个可能途径——结果后推理/生成-奖励模型融合 #535

New issue

Closed

opened 2026-10-26 21:22:48 +00:00 by bsakaguchi · 3 comments

bsakaguchi commented

2026-10-26 21:22:48 +00:00

Owner

Originally created by @LinUser-000 on GitHub (May 13, 2025).
Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-R1/issues/658

当前 LLM 的推理通常是结果前推理，即模型在生成输出结果前进行推理，以期得到更好的结果。
然而这种推理给人一种意犹未尽、戛然而止的感觉。
人类的智慧不仅仅在于得出结果前的短期推理，更在于得出结果后的长期评估与反思改进，这或许才是人类更为智慧的精华所在。

因此，结果后推理——模型在生成输出结果后进行长期评估和反思改进的推理，可能是提升目前 LLM 智能的关键。

想实现结果后推理，暂时可以想到的有两种方法。
方法一：像结果前推理的 CoT 一样，直接进行 CoT 结果后推理。
方法二：在目前奖励模型的基础之上，使得奖励模型具有很好的推理能力。然后再将具有推理能力的奖励模型与生成模型进行融合，以实现结果后推理。

这种结果后推理，既可以判断结果的正确性，以减少幻觉；又可以对于错误的结果分析哪里有问题，以提高训练效率；还可以对于正确的结果分析如何运用到其他方面，以增强泛化能力。
这种结果后的长期评估与反思改进，可能使AI更接近人类智能。

Originally created by @LinUser-000 on GitHub (May 13, 2025). Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-R1/issues/658 当前 LLM 的推理通常是**结果前推理**，即模型在生成输出结果前进行推理，以期得到更好的结果。然而这种推理给人一种意犹未尽、戛然而止的感觉。人类的智慧不仅仅在于得出**结果前**的**短期推理**，更在于得出**结果后**的**长期评估与反思改进**，这或许才是人类更为智慧的精华所在。因此，**结果后推理**——模型在生成输出**结果后**进行**长期评估和反思改进**的推理，可能是提升目前 LLM 智能的关键。想实现**结果后推理**，暂时可以想到的有两种方法。方法一：像结果前推理的 CoT 一样，直接进行 CoT 结果后推理。方法二：在目前奖励模型的基础之上，使得奖励模型具有很好的推理能力。然后再将具有推理能力的**奖励模型与生成模型进行融合**，以实现**结果后推理**。这种结果后推理，既可以判断结果的正确性，以减少幻觉；又可以对于错误的结果分析哪里有问题，以提高训练效率；还可以对于正确的结果分析如何运用到其他方面，以增强泛化能力。这种结果后的长期评估与反思改进，可能使AI更接近人类智能。

bsakaguchi

2026-10-26 21:22:48 +00:00

closed this issue
added the
stale

closed-as-stale
labels

bsakaguchi commented

2026-10-26 21:22:49 +00:00

Author

Owner

@LinUser-000 commented on GitHub (May 31, 2025):

论文标题：RM-R1: Reward Modeling as Reasoning
论文链接：https://arxiv.org/pdf/2505.02387
代码仓库：https://github.com/RM-R1-UIUC/RM-R1
开源模型：https://huggingface.co/collections/gaotang/rm-r1-681128cdab932701cad844c8

@LinUser-000 commented on GitHub (May 31, 2025): 论文标题：RM-R1: Reward Modeling as Reasoning 论文链接：https://arxiv.org/pdf/2505.02387 代码仓库：https://github.com/RM-R1-UIUC/RM-R1 开源模型：https://huggingface.co/collections/gaotang/rm-r1-681128cdab932701cad844c8

bsakaguchi commented

2026-10-26 21:22:49 +00:00

Author

Owner

@github-actions[bot] commented on GitHub (Jul 3, 2025):

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. If you believe this issue is still relevant, please leave a comment to keep it open. Thank you for your contributions!

@github-actions[bot] commented on GitHub (Jul 3, 2025): This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. If you believe this issue is still relevant, please leave a comment to keep it open. Thank you for your contributions!

bsakaguchi commented

2026-10-26 21:22:49 +00:00

Author

Owner

@github-actions[bot] commented on GitHub (Jul 20, 2025):

false

@github-actions[bot] commented on GitHub (Jul 20, 2025): false