deepseek-ai/DeepSeek-R1
1
0
Fork 0
mirror of https://github.com/deepseek-ai/DeepSeek-R1.git synced 2026-11-05 00:47:42 +00:00
Code Issues 45 Projects Packages Wiki Activity

[GH-ISSUE #276] 我想问本地部署deepseek-r1:671b，大概需要多少算力？ #210

New issue
Closed
opened 2026-10-26 21:16:52 +00:00 by bsakaguchi · 14 comments
bsakaguchi commented 2026-10-26 21:16:52 +00:00
Owner
Copy link

Originally created by @king121456 on GitHub (Feb 5, 2025).
Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-R1/issues/276

Originally created by @king121456 on GitHub (Feb 5, 2025). Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-R1/issues/276
bsakaguchi 2026-10-26 21:16:52 +00:00
bsakaguchi commented 2026-10-26 21:16:53 +00:00
Author
Owner
Copy link

@darktown52 commented on GitHub (Feb 5, 2025):

  1. 性能优势
    数学与代码: R1 本地部署后，可极致发挥其 MATH-500（97.3）、Codeforces（2029）等垂直领域优势，远超网页端 V3。
    中文场景: C-Eval 91.8 vs V3 的 86.5，中文专业问答更精准。
    长上下文支持: 128K 上下文本地处理，适合长文档分析、代码库理解。

  2. 功能限制
    多模态支持: R1 未提及图像/语音处理能力，与网页端 V3 一致，仅限文本任务。
    实时更新: 本地模型版本固定，需手动更新；网页端可能持续迭代（如知识库更新至最新）。

  3. 部署成本与隐私
    硬件需求: 需 8×A100 GPU，显存 300GB+，成本较高；网页端零硬件投入。
    隐私控制: 本地数据完全隔离，适合医疗、金融等敏感领域；网页端依赖云端传输。

<!-- gh-comment-id:2637177600 --> @darktown52 commented on GitHub (Feb 5, 2025): 1. 性能优势 数学与代码: R1 本地部署后，可极致发挥其 MATH-500（97.3）、Codeforces（2029）等垂直领域优势，远超网页端 V3。 中文场景: C-Eval 91.8 vs V3 的 86.5，中文专业问答更精准。 长上下文支持: 128K 上下文本地处理，适合长文档分析、代码库理解。 2. 功能限制 多模态支持: R1 未提及图像/语音处理能力，与网页端 V3 一致，仅限文本任务。 实时更新: 本地模型版本固定，需手动更新；网页端可能持续迭代（如知识库更新至最新）。 3. 部署成本与隐私 硬件需求: 需 8×A100 GPU，显存 300GB+，成本较高；网页端零硬件投入。 隐私控制: 本地数据完全隔离，适合医疗、金融等敏感领域；网页端依赖云端传输。
bsakaguchi commented 2026-10-26 21:16:53 +00:00
Author
Owner
Copy link

@ACautomata commented on GitHub (Feb 5, 2025):

https://snowkylin.github.io/blogs/a-note-on-deepseek-r1.html

approximately 158GB

<!-- gh-comment-id:2637216625 --> @ACautomata commented on GitHub (Feb 5, 2025): https://snowkylin.github.io/blogs/a-note-on-deepseek-r1.html approximately 158GB
bsakaguchi commented 2026-10-26 21:16:54 +00:00
Author
Owner
Copy link

@xueshuai0922 commented on GitHub (Feb 7, 2025):

https://snowkylin.github.io/blogs/a-note-on-deepseek-r1.html

approximately 158GB

这个是动态量化后的，如果完整部署，得需要多少显存

<!-- gh-comment-id:2641731457 --> @xueshuai0922 commented on GitHub (Feb 7, 2025): > https://snowkylin.github.io/blogs/a-note-on-deepseek-r1.html > > approximately 158GB 这个是动态量化后的，如果完整部署，得需要多少显存
bsakaguchi commented 2026-10-26 21:16:54 +00:00
Author
Owner
Copy link

@cgf120 commented on GitHub (Feb 9, 2025):

https://snowkylin.github.io/blogs/a-note-on-deepseek-r1.html
approximately 158GB

这个是动态量化后的，如果完整部署，得需要多少显存

671*4 = fp32

<!-- gh-comment-id:2646082717 --> @cgf120 commented on GitHub (Feb 9, 2025): > > https://snowkylin.github.io/blogs/a-note-on-deepseek-r1.html > > approximately 158GB > > 这个是动态量化后的，如果完整部署，得需要多少显存 671*4 = fp32
bsakaguchi commented 2026-10-26 21:16:54 +00:00
Author
Owner
Copy link

@yahiko-l commented on GitHub (Feb 16, 2025):

你要部署671B,那个1400GB文件大小那个，你大约需要20张A800

<!-- gh-comment-id:2661290231 --> @yahiko-l commented on GitHub (Feb 16, 2025): 你要部署671B,那个1400GB文件大小那个，你大约需要20张A800
bsakaguchi commented 2026-10-26 21:16:54 +00:00
Author
Owner
Copy link

@raineverknow commented on GitHub (Feb 17, 2025):

你要部署671B,那个1400GB文件大小那个，你大约需要20张A800

不是，按照fp8去部署，就是650G左右大小

<!-- gh-comment-id:2662532125 --> @raineverknow commented on GitHub (Feb 17, 2025): > 你要部署671B,那个1400GB文件大小那个，你大约需要20张A800 不是，按照fp8去部署，就是650G左右大小
bsakaguchi commented 2026-10-26 21:16:54 +00:00
Author
Owner
Copy link

@sxk000 commented on GitHub (Feb 18, 2025):

你要部署671B,那个1400GB文件大小那个，你大约需要20张A800

不是，按照fp8去部署，就是650G左右大小

fp8的你实际部署过吗？有显存占用截图吗？用的什么卡？

<!-- gh-comment-id:2665073121 --> @sxk000 commented on GitHub (Feb 18, 2025): > > 你要部署671B,那个1400GB文件大小那个，你大约需要20张A800 > > 不是，按照fp8去部署，就是650G左右大小 fp8的你实际部署过吗？有显存占用截图吗？用的什么卡？
bsakaguchi commented 2026-10-26 21:16:54 +00:00
Author
Owner
Copy link

@Harrison-cc commented on GitHub (Feb 21, 2025):

腾讯云一键部署, FP8部署, 8 卡 H20, 大概用了 700 多 G 显存

<!-- gh-comment-id:2673157666 --> @Harrison-cc commented on GitHub (Feb 21, 2025): 腾讯云一键部署, FP8部署, 8 卡 H20, 大概用了 700 多 G 显存
bsakaguchi commented 2026-10-26 21:16:54 +00:00
Author
Owner
Copy link

@Dragode commented on GitHub (Feb 24, 2025):

腾讯云一键部署, FP8部署, 8 卡 H20, 大概用了 700 多 G 显存

请问 8 卡 H20 部署后，性能是什么表现？比如在16并发下，ttft 和 吞吐量 的指标如何？

<!-- gh-comment-id:2679077683 --> @Dragode commented on GitHub (Feb 24, 2025): > 腾讯云一键部署, FP8部署, 8 卡 H20, 大概用了 700 多 G 显存 请问 8 卡 H20 部署后，性能是什么表现？比如在16并发下，ttft 和 吞吐量 的指标如何？
bsakaguchi commented 2026-10-26 21:16:55 +00:00
Author
Owner
Copy link

@Harrison-cc commented on GitHub (Feb 25, 2025):

腾讯云一键部署, FP8部署, 8 卡 H20, 大概用了 700 多 G 显存

请问 8 卡 H20 部署后，性能是什么表现？比如在16并发下，ttft 和 吞吐量 的指标如何？

压测下来最大并发 8, 输入 16k 长度下, ttft=4s

<!-- gh-comment-id:2680359609 --> @Harrison-cc commented on GitHub (Feb 25, 2025): > > 腾讯云一键部署, FP8部署, 8 卡 H20, 大概用了 700 多 G 显存 > > 请问 8 卡 H20 部署后，性能是什么表现？比如在16并发下，ttft 和 吞吐量 的指标如何？ 压测下来最大并发 8, 输入 16k 长度下, ttft=4s
bsakaguchi commented 2026-10-26 21:16:55 +00:00
Author
Owner
Copy link

@easyzhang0315 commented on GitHub (Mar 1, 2025):

2 * H800 * 8(BF8)。 或 4 * A800 * 8 （BF16）

<!-- gh-comment-id:2691892443 --> @easyzhang0315 commented on GitHub (Mar 1, 2025): 2 * H800 * 8(BF8)。 或 4 * A800 * 8 （BF16）
bsakaguchi commented 2026-10-26 21:16:55 +00:00
Author
Owner
Copy link

@king121456 commented on GitHub (Mar 3, 2025):

生产环境都是用vllm部署的吗？

<!-- gh-comment-id:2693098552 --> @king121456 commented on GitHub (Mar 3, 2025): 生产环境都是用vllm部署的吗？
bsakaguchi commented 2026-10-26 21:16:55 +00:00
Author
Owner
Copy link

@github-actions[bot] commented on GitHub (May 7, 2025):

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. If you believe this issue is still relevant, please leave a comment to keep it open. Thank you for your contributions!

<!-- gh-comment-id:2856617251 --> @github-actions[bot] commented on GitHub (May 7, 2025): This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. If you believe this issue is still relevant, please leave a comment to keep it open. Thank you for your contributions!
bsakaguchi commented 2026-10-26 21:16:55 +00:00
Author
Owner
Copy link

@github-actions[bot] commented on GitHub (May 31, 2025):

false

<!-- gh-comment-id:2923763496 --> @github-actions[bot] commented on GitHub (May 31, 2025): false
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
main
v1.0.0
Labels
Clear labels   
bug

   
closed-as-stale

   
closed-as-stale

   
enhancement

   
pull-request
Mirrored from GitHub Pull Request

  
stale

   
stale
No labels
bug
closed-as-stale
closed-as-stale
enhancement
pull-request
stale
stale
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
deepseek-ai/DeepSeek-R1#210
No description provided.