deepseek-ai/DeepSeek-MoE
1
0
Fork 0
mirror of https://github.com/deepseek-ai/DeepSeek-MoE.git synced 2026-11-05 00:57:43 +00:00
Code Issues 24 Projects Packages Wiki Activity

[GH-ISSUE #16] 您们会开源DeepSeekMoE 2B模型吗? #13

New issue
Open
opened 2026-10-26 21:01:39 +00:00 by bsakaguchi · 7 comments
bsakaguchi commented 2026-10-26 21:01:39 +00:00
Owner
Copy link

Originally created by @win10ogod on GitHub (Jan 22, 2024).
Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-MoE/issues/16

您们会开源2b参数的moe模型吗?

Originally created by @win10ogod on GitHub (Jan 22, 2024). Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-MoE/issues/16 您们会开源2b参数的moe模型吗?
bsakaguchi commented 2026-10-26 21:01:39 +00:00
Author
Owner
Copy link

@win10ogod commented on GitHub (Jan 23, 2024):

@luofuli @zwd003

<!-- gh-comment-id:1905491887 --> @win10ogod commented on GitHub (Jan 23, 2024): @luofuli @zwd003
bsakaguchi commented 2026-10-26 21:01:40 +00:00
Author
Owner
Copy link

@luofuli commented on GitHub (Jan 24, 2024):

暂无计划开源小尺度的moe模型（2B），但我们会开源更大的145B MoE。
你的使用场景是？for research？还是其他？

<!-- gh-comment-id:1907239945 --> @luofuli commented on GitHub (Jan 24, 2024): 暂无计划开源小尺度的moe模型（2B），但我们会开源更大的145B MoE。 你的使用场景是？for research？还是其他？
bsakaguchi commented 2026-10-26 21:01:40 +00:00
Author
Owner
Copy link

@win10ogod commented on GitHub (Jan 24, 2024):

暂无计划开源小尺度的moe模型（2B），但我们会开源更大的145B MoE。 你的使用场景是？for research？还是其他？

我需要能在安卓手机上快速运行，并且能在rtx3050上快速微调的小型号，用于个人化的助手实验。
期待您们开源的新模型，您们的deepseek-llm-67b-chat，在https://chat.lmsys.org/与gpt4-turbo对比编码能力只差一点，如果数据量更多一些，例如： 3T或4T的代币会更好

<!-- gh-comment-id:1907268663 --> @win10ogod commented on GitHub (Jan 24, 2024): > 暂无计划开源小尺度的moe模型（2B），但我们会开源更大的145B MoE。 你的使用场景是？for research？还是其他？ 我需要能在安卓手机上快速运行，并且能在rtx3050上快速微调的小型号，用于个人化的助手实验。 期待您们开源的新模型，您们的deepseek-llm-67b-chat，在https://chat.lmsys.org/与gpt4-turbo对比编码能力只差一点，如果数据量更多一些，例如： 3T或4T的代币会更好
bsakaguchi commented 2026-10-26 21:01:40 +00:00
Author
Owner
Copy link

@soloice commented on GitHub (Jan 26, 2024):

暂无计划开源小尺度的moe模型（2B），但我们会开源更大的145B MoE。 你的使用场景是？for research？还是其他？

我需要能在安卓手机上快速运行，并且能在rtx3050上快速微调的小型号，用于个人化的助手实验。 期待您们开源的新模型，您们的deepseek-llm-67b-chat，在https://chat.lmsys.org/与gpt4-turbo对比编码能力只差一点，如果数据量更多一些，例如： 3T或4T的代币会更好

这个场景建议试试 1-2B 的 dense 模型

<!-- gh-comment-id:1911583395 --> @soloice commented on GitHub (Jan 26, 2024): > > 暂无计划开源小尺度的moe模型（2B），但我们会开源更大的145B MoE。 你的使用场景是？for research？还是其他？ > > 我需要能在安卓手机上快速运行，并且能在rtx3050上快速微调的小型号，用于个人化的助手实验。 期待您们开源的新模型，您们的deepseek-llm-67b-chat，在[https://chat.lmsys.org/与gpt4-turbo对比编码能力只差一点，如果数据量更多一些，例如：](https://chat.lmsys.org/%E4%B8%8Egpt4-turbo%E5%AF%B9%E6%AF%94%E7%BC%96%E7%A0%81%E8%83%BD%E5%8A%9B%E5%8F%AA%E5%B7%AE%E4%B8%80%E7%82%B9%EF%BC%8C%E5%A6%82%E6%9E%9C%E6%95%B0%E6%8D%AE%E9%87%8F%E6%9B%B4%E5%A4%9A%E4%B8%80%E4%BA%9B%EF%BC%8C%E4%BE%8B%E5%A6%82%EF%BC%9A) 3T或4T的代币会更好 这个场景建议试试 1-2B 的 dense 模型
bsakaguchi commented 2026-10-26 21:01:40 +00:00
Author
Owner
Copy link

@nbardy commented on GitHub (Jan 29, 2024):

I am looking for the 2B model as well.

I need to deploy fast models in production on domain specific tasks and I don't need the reasoning capabilities of larger models.

Right now I am running GPT-2-medium(440M) dense.

Would be great to move to a MoE model that is the same speed, but higher parameter count.

<!-- gh-comment-id:1913790684 --> @nbardy commented on GitHub (Jan 29, 2024): I am looking for the 2B model as well. I need to deploy fast models in production on domain specific tasks and I don't need the reasoning capabilities of larger models. Right now I am running GPT-2-medium(440M) dense. Would be great to move to a MoE model that is the same speed, but higher parameter count.
bsakaguchi commented 2026-10-26 21:01:40 +00:00
Author
Owner
Copy link

@chenhengzh commented on GitHub (Aug 18, 2024):

希望开源2B模型。目前社区小规模的MoE模型几乎没有，高校实验室几乎无法做任何关于MoE模型finetune的研究。DeepseekMoE-2B将解决这一需求。

<!-- gh-comment-id:2295037048 --> @chenhengzh commented on GitHub (Aug 18, 2024): 希望开源2B模型。目前社区小规模的MoE模型几乎没有，高校实验室几乎无法做任何关于MoE模型finetune的研究。DeepseekMoE-2B将解决这一需求。
bsakaguchi commented 2026-10-26 21:01:42 +00:00
Author
Owner
Copy link

@1786707378 commented on GitHub (Apr 5, 2025):

I am looking for the 2B model as well.

<!-- gh-comment-id:2780658523 --> @1786707378 commented on GitHub (Apr 5, 2025): I am looking for the 2B model as well.
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
main
No results found.
Labels
Clear labels   
pull-request
Mirrored from GitHub Pull Request

  
WIP
No labels
pull-request
WIP
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
deepseek-ai/DeepSeek-MoE#13
No description provided.