[GH-ISSUE #48] 请问可以提供多机多卡微调的脚本吗？ #39

New issue

Closed

opened 2026-10-26 21:02:36 +00:00 by bsakaguchi · 4 comments

bsakaguchi commented

2026-10-26 21:02:36 +00:00

Owner

Originally created by @txy6666yr on GitHub (Nov 23, 2023).
Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-Coder/issues/48

官方提供的deepspeed zero3 脚本运行比较慢，可以提供多机多卡的训练脚本吗？
非常感谢！

Originally created by @txy6666yr on GitHub (Nov 23, 2023). Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-Coder/issues/48 官方提供的deepspeed zero3 脚本运行比较慢，可以提供多机多卡的训练脚本吗？非常感谢！

bsakaguchi closed this issue

2026-10-26 21:02:36 +00:00

bsakaguchi commented

2026-10-26 21:02:39 +00:00

Author

Owner

@guoday commented on GitHub (Nov 24, 2023):

我们是使用自研的框架进行多机多卡的训练，对于开源社区的框架目前我们只尝试过deepspeed

@guoday commented on GitHub (Nov 24, 2023): 我们是使用自研的框架进行多机多卡的训练，对于开源社区的框架目前我们只尝试过deepspeed

bsakaguchi commented

2026-10-26 21:02:39 +00:00

Author

Owner

@soloice commented on GitHub (Nov 28, 2023):

未来我们会有 hai-llm（自研框架）的开源计划，但可能还需要等待一段时间。不过即便开源了自研框架，在我们集群以外的硬件设施上训练速度也不一定是最优的。
初步的建议是，你先找到一套适合自己的硬件环境的训练代码和并行配置，例如 deepspeed 等，然后把我们的模型参数转换成自己的训练框架支持的格式，再在自己的硬件上训练。我们在自己的集群上跑一些开源大模型也是用这个方法做的。

@soloice commented on GitHub (Nov 28, 2023): 未来我们会有 hai-llm（自研框架）的开源计划，但可能还需要等待一段时间。不过即便开源了自研框架，在我们集群以外的硬件设施上训练速度也不一定是最优的。初步的建议是，你先找到一套适合自己的硬件环境的训练代码和并行配置，例如 deepspeed 等，然后把我们的模型参数转换成自己的训练框架支持的格式，再在自己的硬件上训练。我们在自己的集群上跑一些开源大模型也是用这个方法做的。

bsakaguchi commented

2026-10-26 21:02:39 +00:00

Author

Owner

@soloice commented on GitHub (Nov 28, 2023):

另外 zero3 需要的通信量比较大，如果你的硬件带宽不够，不建议跑 zero3

@soloice commented on GitHub (Nov 28, 2023): 另外 zero3 需要的通信量比较大，如果你的硬件带宽不够，不建议跑 zero3

bsakaguchi commented

2026-10-26 21:02:39 +00:00

Author

Owner

@XianglongTan commented on GitHub (May 13, 2024):

未来我们会有 hai-llm（自研框架）的开源计划，但可能还需要等待一段时间。不过即便开源了自研框架，在我们集群以外的硬件设施上训练速度也不一定是最优的。初步的建议是，你先找到一套适合自己的硬件环境的训练代码和并行配置，例如 deepspeed 等，然后把我们的模型参数转换成自己的训练框架支持的格式，再在自己的硬件上训练。我们在自己的集群上跑一些开源大模型也是用这个方法做的。

请问大佬预计什么时候开源 hai-llm 呢？

@XianglongTan commented on GitHub (May 13, 2024): > 未来我们会有 hai-llm（自研框架）的开源计划，但可能还需要等待一段时间。不过即便开源了自研框架，在我们集群以外的硬件设施上训练速度也不一定是最优的。初步的建议是，你先找到一套适合自己的硬件环境的训练代码和并行配置，例如 deepspeed 等，然后把我们的模型参数转换成自己的训练框架支持的格式，再在自己的硬件上训练。我们在自己的集群上跑一些开源大模型也是用这个方法做的。请问大佬预计什么时候开源 hai-llm 呢？