[GH-ISSUE #81] R1 的各个版本的显存占用情况有文档不？ #67

New issue

Closed

opened 2026-10-26 21:12:55 +00:00 by bsakaguchi · 9 comments

bsakaguchi commented 2026-10-26 21:12:55 +00:00

Owner

Copy link

Originally created by @zhaojigang on GitHub (Jan 26, 2025).
Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-R1/issues/81

R1 的各个版本的显存占用情况有文档不？

Originally created by @zhaojigang on GitHub (Jan 26, 2025). Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-R1/issues/81 R1 的各个版本的显存占用情况有文档不？

bsakaguchi closed this issue 2026-10-26 21:12:55 +00:00

bsakaguchi commented 2026-10-26 21:12:56 +00:00

Author

Owner

Copy link

@taofennanhai commented on GitHub (Jan 27, 2025):

同问

<!-- gh-comment-id:2614751276 --> @taofennanhai commented on GitHub (Jan 27, 2025): 同问

bsakaguchi commented 2026-10-26 21:12:57 +00:00

Author

Owner

Copy link

@cnsystem commented on GitHub (Jan 28, 2025):

原始模型：

量化模型：

参考链接：
https://apxml.com/posts/gpu-requirements-deepseek-r1

<!-- gh-comment-id:2619307334 --> @cnsystem commented on GitHub (Jan 28, 2025): 原始模型：  量化模型：  参考链接： https://apxml.com/posts/gpu-requirements-deepseek-r1

bsakaguchi commented 2026-10-26 21:12:57 +00:00

Author

Owner

Copy link

@zhaojigang commented on GitHub (Jan 29, 2025):

原始模型：

量化模型：

参考链接： https://apxml.com/posts/gpu-requirements-deepseek-r1

非常感谢，我本地 4090 24G 尝试使用 32B 量化版，大致消耗了 22G 显存

<!-- gh-comment-id:2621533634 --> @zhaojigang commented on GitHub (Jan 29, 2025): > 原始模型： > >  > > 量化模型： > >  > > 参考链接： https://apxml.com/posts/gpu-requirements-deepseek-r1 非常感谢，我本地 4090 24G 尝试使用 32B 量化版，大致消耗了 22G 显存

bsakaguchi commented 2026-10-26 21:12:58 +00:00

Author

Owner

Copy link

@bhj8 commented on GitHub (Feb 5, 2025):

原始模型：

量化模型：

参考链接： https://apxml.com/posts/gpu-requirements-deepseek-r1

非常感谢，我本地 4090 24G 尝试使用 32B 量化版，大致消耗了 22G 显存

你好，请问你量化版是自己量化的吗？我在抱脸上没有看到相关量化的说明和模型下载，我尝试部署32B，但很明显我显存爆了。我也是4090

<!-- gh-comment-id:2637355518 --> @bhj8 commented on GitHub (Feb 5, 2025): > > 原始模型： > >  > > 量化模型： > >  > > 参考链接： https://apxml.com/posts/gpu-requirements-deepseek-r1 > > 非常感谢，我本地 4090 24G 尝试使用 32B 量化版，大致消耗了 22G 显存 你好，请问你量化版是自己量化的吗？我在抱脸上没有看到相关量化的说明和模型下载，我尝试部署32B，但很明显我显存爆了。我也是4090

bsakaguchi commented 2026-10-26 21:12:58 +00:00

Author

Owner

Copy link

@weihao-zhao commented on GitHub (Feb 5, 2025):

原始模型：

量化模型：

参考链接： https://apxml.com/posts/gpu-requirements-deepseek-r1

原始模型是指 FP8 的吗，我们实际测试的结果是能在 3 台 8 * L20 机器上跑起来，显存占用没有 1342 GB 这么夸张，这里的显存占用是基于多大 context 的？
p.s. 链接好像打不开

<!-- gh-comment-id:2638180739 --> @weihao-zhao commented on GitHub (Feb 5, 2025): > 原始模型： > >  > > 量化模型： > >  > > 参考链接： https://apxml.com/posts/gpu-requirements-deepseek-r1 原始模型是指 FP8 的吗，我们实际测试的结果是能在 3 台 8 * L20 机器上跑起来，显存占用没有 1342 GB 这么夸张，这里的显存占用是基于多大 context 的？ p.s. 链接好像打不开

bsakaguchi commented 2026-10-26 21:12:59 +00:00

Author

Owner

Copy link

@zhaojigang commented on GitHub (Feb 7, 2025):

原始模型：

量化模型：

参考链接： https://apxml.com/posts/gpu-requirements-deepseek-r1

非常感谢，我本地 4090 24G 尝试使用 32B 量化版，大致消耗了 22G 显存

你好，请问你量化版是自己量化的吗？我在抱脸上没有看到相关量化的说明和模型下载，我尝试部署32B，但很明显我显存爆了。我也是4090

我直接用 ollama 来安装的32B，下载后就是量化版本

<!-- gh-comment-id:2641905365 --> @zhaojigang commented on GitHub (Feb 7, 2025): > > > 原始模型： > > >  > > > 量化模型： > > >  > > > 参考链接： https://apxml.com/posts/gpu-requirements-deepseek-r1 > > > > > > 非常感谢，我本地 4090 24G 尝试使用 32B 量化版，大致消耗了 22G 显存 > > 你好，请问你量化版是自己量化的吗？我在抱脸上没有看到相关量化的说明和模型下载，我尝试部署32B，但很明显我显存爆了。我也是4090 我直接用 ollama 来安装的32B，下载后就是量化版本 

bsakaguchi commented 2026-10-26 21:12:59 +00:00

Author

Owner

Copy link

@jt-z commented on GitHub (Feb 26, 2025):

原始模型：

量化模型：

参考链接： https://apxml.com/posts/gpu-requirements-deepseek-r1

原始模型是指 FP8 的吗，我们实际测试的结果是能在 3 台 8 * L20 机器上跑起来，显存占用没有 1342 GB 这么夸张，这里的显存占用是基于多大 context 的？ p.s. 链接好像打不开

请问您 在 3 台 8 * L20 机器上部署的是Deepseek R1 671B的无量化版本的fp8精度的模型吗？ 是用的什么框架部署的，能做到在3台L20上部署成功？

<!-- gh-comment-id:2683728880 --> @jt-z commented on GitHub (Feb 26, 2025): > > 原始模型： > >  > > 量化模型： > >  > > 参考链接： https://apxml.com/posts/gpu-requirements-deepseek-r1 > > 原始模型是指 FP8 的吗，我们实际测试的结果是能在 3 台 8 * L20 机器上跑起来，显存占用没有 1342 GB 这么夸张，这里的显存占用是基于多大 context 的？ p.s. 链接好像打不开 请问您 在 3 台 8 * L20 机器上部署的是Deepseek R1 671B的无量化版本的fp8精度的模型吗？ 是用的什么框架部署的，能做到在3台L20上部署成功？

bsakaguchi commented 2026-10-26 21:12:59 +00:00

Author

Owner

Copy link

@Ewan-Ding commented on GitHub (Feb 28, 2025):

原始模型：

量化模型：

参考链接： https://apxml.com/posts/gpu-requirements-deepseek-r1

原始模型是指 FP8 的吗，我们实际测试的结果是能在 3 台 8 * L20 机器上跑起来，显存占用没有 1342 GB 这么夸张，这里的显存占用是基于多大 context 的？ p.s. 链接好像打不开

请问是用什么方式在3台8*L20部署起来的？

<!-- gh-comment-id:2689778794 --> @Ewan-Ding commented on GitHub (Feb 28, 2025): > > 原始模型： > >  > > 量化模型： > >  > > 参考链接： https://apxml.com/posts/gpu-requirements-deepseek-r1 > > 原始模型是指 FP8 的吗，我们实际测试的结果是能在 3 台 8 * L20 机器上跑起来，显存占用没有 1342 GB 这么夸张，这里的显存占用是基于多大 context 的？ p.s. 链接好像打不开 请问是用什么方式在3台8*L20部署起来的？

bsakaguchi commented 2026-10-26 21:12:59 +00:00

Author

Owner

Copy link

@jt-z commented on GitHub (Mar 1, 2025):

原始模型：

量化模型：

参考链接： https://apxml.com/posts/gpu-requirements-deepseek-r1

原始模型是指 FP8 的吗，我们实际测试的结果是能在 3 台 8 * L20 机器上跑起来，显存占用没有 1342 GB 这么夸张，这里的显存占用是基于多大 context 的？ p.s. 链接好像打不开

请问是用什么方式在3台8*L20部署起来的？

朋友，你有任何在3台8*L20部署起来fp8 671B R1的思路吗？ 这似乎是不行的吧？

<!-- gh-comment-id:2692258668 --> @jt-z commented on GitHub (Mar 1, 2025): > > > 原始模型： > > >  > > > 量化模型： > > >  > > > 参考链接： https://apxml.com/posts/gpu-requirements-deepseek-r1 > > > > > > 原始模型是指 FP8 的吗，我们实际测试的结果是能在 3 台 8 * L20 机器上跑起来，显存占用没有 1342 GB 这么夸张，这里的显存占用是基于多大 context 的？ p.s. 链接好像打不开 > > 请问是用什么方式在3台8*L20部署起来的？ 朋友，你有任何在3台8*L20部署起来fp8 671B R1的思路吗？ 这似乎是不行的吧？

bsakaguchi referenced this issue 2026-10-26 21:24:40 +00:00

[GH-ISSUE #797] Feature Request: Persistent User Memory Across Sessions #655

Sign in to join this conversation.

No Branch/Tag specified

Branches Tags

main

v1.0.0

Labels

Clear labels   

bug

  

closed-as-stale

  

closed-as-stale

  

enhancement

  

pull-request

Mirrored from GitHub Pull Request

  

stale

  

stale

No labels

bug

closed-as-stale

closed-as-stale

enhancement

pull-request

stale

stale

Milestone

Clear milestone

No items

No milestone

Projects

Clear projects

No items

No project

Assignees

Clear assignees

No assignees

1 participant

Notifications

Subscribe

Due date

The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference

deepseek-ai/DeepSeek-R1#67

No description provided.