deepseek-ai/DeepSeek-Coder
1
0
Fork 0
mirror of https://github.com/deepseek-ai/DeepSeek-Coder.git synced 2026-11-05 00:57:19 +00:00
Code Issues 177 Projects Packages Wiki Activity

[GH-ISSUE #103] 请问finetune脚本是全参微调么，最少需要多少显存和内存。 #88

New issue
Open
opened 2026-10-26 21:03:20 +00:00 by bsakaguchi · 5 comments
bsakaguchi commented 2026-10-26 21:03:20 +00:00
Owner
Copy link

Originally created by @winsurelab on GitHub (Jan 25, 2024).
Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-Coder/issues/103

1请问咱们官网提供的finetune脚本是全参微调么
2针对33b模型一般需要多少显存和内存
3针对33b模型最少需要多少显存和内存。

Originally created by @winsurelab on GitHub (Jan 25, 2024). Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-Coder/issues/103 1请问咱们官网提供的finetune脚本是全参微调么 2针对33b模型一般需要多少显存和内存 3针对33b模型最少需要多少显存和内存。
bsakaguchi commented 2026-10-26 21:03:20 +00:00
Author
Owner
Copy link

@guoday commented on GitHub (Jan 30, 2024):

  1. 是全参数
  2. 如果是33B的话，一般需要80G显存，但通过pp并行（速度会慢），40G显存也是可以的
<!-- gh-comment-id:1915936145 --> @guoday commented on GitHub (Jan 30, 2024): 1. 是全参数 2. 如果是33B的话，一般需要80G显存，但通过pp并行（速度会慢），40G显存也是可以的
bsakaguchi commented 2026-10-26 21:03:20 +00:00
Author
Owner
Copy link

@hyperbolic-c commented on GitHub (Mar 26, 2024):

  1. 是全参数
  2. 如果是33B的话，一般需要80G显存，但通过pp并行（速度会慢），40G显存也是可以的

@guoday 你好, 我微调1.3B是两张显卡都跑到30G了, 想微调6.7B的时候显存直接爆了(batch_size=4都不行), 请问为什么消耗这么高, 好奇怪, 请教一下是要设置什么参数吗? 谢谢.

<!-- gh-comment-id:2019921794 --> @hyperbolic-c commented on GitHub (Mar 26, 2024): > 1. 是全参数 > 2. 如果是33B的话，一般需要80G显存，但通过pp并行（速度会慢），40G显存也是可以的 @guoday 你好, 我微调1.3B是两张显卡都跑到30G了, 想微调6.7B的时候显存直接爆了(batch_size=4都不行), 请问为什么消耗这么高, 好奇怪, 请教一下是要设置什么参数吗? 谢谢.
bsakaguchi commented 2026-10-26 21:03:21 +00:00
Author
Owner
Copy link

@soloice commented on GitHub (Mar 26, 2024):

  1. 是全参数
  2. 如果是33B的话，一般需要80G显存，但通过pp并行（速度会慢），40G显存也是可以的

@guoday 你好, 我微调1.3B是两张显卡都跑到30G了, 想微调6.7B的时候显存直接爆了(batch_size=4都不行), 请问为什么消耗这么高, 好奇怪, 请教一下是要设置什么参数吗? 谢谢.

什么并行策略？

<!-- gh-comment-id:2019954357 --> @soloice commented on GitHub (Mar 26, 2024): > > 1. 是全参数 > > 2. 如果是33B的话，一般需要80G显存，但通过pp并行（速度会慢），40G显存也是可以的 > > @guoday 你好, 我微调1.3B是两张显卡都跑到30G了, 想微调6.7B的时候显存直接爆了(batch_size=4都不行), 请问为什么消耗这么高, 好奇怪, 请教一下是要设置什么参数吗? 谢谢. 什么并行策略？
bsakaguchi commented 2026-10-26 21:03:21 +00:00
Author
Owner
Copy link

@hyperbolic-c commented on GitHub (Mar 27, 2024):

@soloice 您好,就是跑的官方例程. 请问如何修改并行策略呢谢谢大佬

<!-- gh-comment-id:2022918082 --> @hyperbolic-c commented on GitHub (Mar 27, 2024): @soloice 您好,就是跑的官方例程. 请问如何修改并行策略呢谢谢大佬
bsakaguchi commented 2026-10-26 21:03:21 +00:00
Author
Owner
Copy link

@wentinghome commented on GitHub (May 16, 2024):

你好，请问pp并行是什么？谢谢

<!-- gh-comment-id:2115867746 --> @wentinghome commented on GitHub (May 16, 2024): 你好，请问pp并行是什么？谢谢
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
main
ydj/leetcode
bingxuan/dev
ydj/mbpp
No results found.
Labels
Clear labels   
documentation

   
ENV

   
pull-request
Mirrored from GitHub Pull Request

  
research question

   
WIP
No labels
documentation
ENV
pull-request
research question
WIP
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
deepseek-ai/DeepSeek-Coder#88
No description provided.