[GH-ISSUE #140] 官方提供的微调训练脚本是否支持33B模型训练？(及训练相关问题) #122

New issue

Closed

opened 2026-10-26 21:03:50 +00:00 by bsakaguchi · 1 comment

bsakaguchi commented

2026-10-26 21:03:50 +00:00

Owner

Originally created by @tongyuhome on GitHub (Mar 14, 2024).
Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-Coder/issues/140

finetune/finetune_deepseekcoder.py脚本中默认使用deepseek-coder-6.7b-instruct模型，请问在硬件支持的情况下是否也支持deepseek-coder-33b-instruct模型的训练。
请教一下，如果需要训练代码相关的下游任务，coder-base模型和coder-instruct模型该如何选择？是否 coder-instruct更适合SFT，而coder-base更适合预训练+SFT？

Originally created by @tongyuhome on GitHub (Mar 14, 2024). Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-Coder/issues/140 1. finetune/finetune_deepseekcoder.py脚本中默认使用deepseek-coder-6.7b-instruct模型，请问在硬件支持的情况下是否也支持deepseek-coder-33b-instruct模型的训练。 2. 请教一下，如果需要训练代码相关的下游任务，coder-base模型和coder-instruct模型该如何选择？是否 coder-instruct更适合SFT，而coder-base更适合预训练+SFT？

bsakaguchi closed this issue

2026-10-26 21:03:50 +00:00

bsakaguchi commented

2026-10-26 21:03:51 +00:00

Author

Owner

@DejianYang commented on GitHub (Mar 14, 2024):

finetune/finetune_deepseekcoder.py脚本中默认使用deepseek-coder-6.7b-instruct模型，请问在硬件支持的情况下是否也支持deepseek-coder-33b-instruct模型的训练。

请教一下，如果需要训练代码相关的下游任务，coder-base模型和coder-instruct模型该如何选择？是否 coder-instruct更适合SFT，而coder-base更适合预训练+SFT？

不建议，huggingface + deepspeed 对于33b的模型还是太勉强。
建议都试试，更多取决于你自己的你下游任务的数据。

@DejianYang commented on GitHub (Mar 14, 2024): > 1. finetune/finetune_deepseekcoder.py脚本中默认使用deepseek-coder-6.7b-instruct模型，请问在硬件支持的情况下是否也支持deepseek-coder-33b-instruct模型的训练。 > 2. 请教一下，如果需要训练代码相关的下游任务，coder-base模型和coder-instruct模型该如何选择？是否 coder-instruct更适合SFT，而coder-base更适合预训练+SFT？ 1. 不建议，huggingface + deepspeed 对于33b的模型还是太勉强。 2. 建议都试试，更多取决于你自己的你下游任务的数据。