[GH-ISSUE #509] 更加精简模型的讨论，是否可以实现可解释性的专家模型？ #406

New issue

Closed

opened 2026-10-26 21:20:48 +00:00 by bsakaguchi · 2 comments

bsakaguchi commented

2026-10-26 21:20:48 +00:00

Owner

Originally created by @yryd on GitHub (Feb 26, 2025).
Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-R1/issues/509

问题

在DeepSeekv3基座大模型中有许多的知识冗余，DeepSeek使用MOE专家模型在部署后的运行中，很好地节约了这些成本，在推理时每个专家负责不同部分。然而671B的模型对于小型化部署来说，还是太庞大了；而1.5B-14B等小型模型确实各方面的性能都存在下降，而且下降的很平均。作为小型化部署，并不希望有太多的知识储备，但需要具备一定的推理能力，在671B的模型中，不需要的知识占了大部分参数。如果比喻来说671B的模型是一个懂得世间所有知识的全才，而我仅需要一个有高中知识储备具有推理能力的庸才，在MOE模型中可能仅需要部分模型，这样才能大范围应用。MOE的专家模型是学习出来的，对于每个专家并没有语义或者可解释性上的责任划分，耦合性太强，这也是不能将大模型拆分成小模型的关键。

可行的解决？

是否可以从词嵌入embedding开始使用最小的词汇表（大多数词汇都是由最小的语言集合通过各种标签定义出来的，保证词之间尽量正则化），将最小词汇表作为Token向量的维度进行预训练，以促使学习后的模型具有一定的可解释性，来促使MOE专家可以模块化发展？在训练的数据中仅采用小学初中高中渐进的教材训练（或使用大模型生成），来减少模型通用的参数量。

本人非专业出身，仅了解部分原理，如有常规性错误还请谅解。

Originally created by @yryd on GitHub (Feb 26, 2025). Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-R1/issues/509 ## **问题** 在DeepSeekv3基座大模型中有许多的知识冗余，DeepSeek使用MOE专家模型在部署后的运行中，很好地节约了这些成本，在推理时每个专家负责不同部分。然而671B的模型对于小型化部署来说，还是太庞大了；而1.5B-14B等小型模型确实各方面的性能都存在下降，而且下降的很平均。作为小型化部署，并不希望有太多的知识储备，但需要具备一定的推理能力，在671B的模型中，不需要的知识占了大部分参数。如果比喻来说671B的模型是一个懂得世间所有知识的全才，而我仅需要一个有高中知识储备具有推理能力的庸才，在MOE模型中可能仅需要部分模型，这样才能大范围应用。MOE的专家模型是学习出来的，对于每个专家并没有语义或者可解释性上的责任划分，耦合性太强，这也是不能将大模型拆分成小模型的关键。 ## **可行的解决？** 是否可以从词嵌入embedding开始使用最小的词汇表（大多数词汇都是由最小的语言集合通过各种标签定义出来的，保证词之间尽量正则化），将最小词汇表作为Token向量的维度进行预训练，以促使学习后的模型具有一定的可解释性，来促使MOE专家可以模块化发展？在训练的数据中仅采用小学初中高中渐进的教材训练（或使用大模型生成），来减少模型通用的参数量。本人非专业出身，仅了解部分原理，如有常规性错误还请谅解。

bsakaguchi

2026-10-26 21:20:48 +00:00

closed this issue
added the
stale

closed-as-stale
labels

bsakaguchi commented

2026-10-26 21:20:49 +00:00

Author

Owner

@github-actions[bot] commented on GitHub (Apr 18, 2025):

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. If you believe this issue is still relevant, please leave a comment to keep it open. Thank you for your contributions!

@github-actions[bot] commented on GitHub (Apr 18, 2025): This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. If you believe this issue is still relevant, please leave a comment to keep it open. Thank you for your contributions!

bsakaguchi commented

2026-10-26 21:20:49 +00:00

Author

Owner

@github-actions[bot] commented on GitHub (May 22, 2025):

false

@github-actions[bot] commented on GitHub (May 22, 2025): false