[GH-ISSUE #1497] 为什么双卡推理的表现和单卡差不多？能够进行优化调整吗？ #1000

New issue

Closed

opened 2026-10-29 14:47:21 +00:00 by bsakaguchi · 1 comment

bsakaguchi commented

2026-10-29 14:47:21 +00:00

Owner

Originally created by @corengh on GitHub (Sep 8, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/1497

CPU：INTEL XEON PLATINUM 8582C 2.6GHZ 60核
内存：DDR5-5600 32G × 8
显卡：NVIDIA GeForce RTX 3090 24G × 2
系统：Ubuntu 24.04
KTranformers 版本：0.3.2
加载模型：DeepSeek-R1-UD-IQ1_S（140.23G）

使用 DeepSeek-V3-Chat.yaml 进行单卡推理，单卡显存占用大概 12G 左右；使用 DeepSeek-V3-Chat-multi-gpu.yaml 进行双卡推理时，显存占用大概是 6.2G + 6.5G 。但是两者在性能表现上并没有体现出差异，decode 都是 13.7 Tokens/s 左右。

求解的疑惑是：

为什么两者差不多？是因为没有使用 NVLink 吗？还是瓶颈在其它地方？
有没有可以优化调整的地方？

Originally created by @corengh on GitHub (Sep 8, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/1497 CPU：INTEL XEON PLATINUM 8582C 2.6GHZ 60核内存：DDR5-5600 32G × 8 显卡：NVIDIA GeForce RTX 3090 24G × 2 系统：Ubuntu 24.04 KTranformers 版本：0.3.2 加载模型：DeepSeek-R1-UD-IQ1_S（140.23G）使用 `DeepSeek-V3-Chat.yaml` 进行单卡推理，单卡显存占用大概 12G 左右；使用 `DeepSeek-V3-Chat-multi-gpu.yaml` 进行双卡推理时，显存占用大概是 6.2G + 6.5G 。但是两者在性能表现上并没有体现出差异，decode 都是 13.7 Tokens/s 左右。求解的疑惑是： 1. 为什么两者差不多？是因为没有使用 NVLink 吗？还是瓶颈在其它地方？ 2. 有没有可以优化调整的地方？

bsakaguchi closed this issue

2026-10-29 14:47:21 +00:00

bsakaguchi commented

2026-10-29 14:47:22 +00:00

Author

Owner

@corengh commented on GitHub (Sep 9, 2025):

multi-gpu 似乎确实无法提高性能表现

Ktransformers FAQ

@corengh commented on GitHub (Sep 9, 2025): multi-gpu 似乎确实无法提高性能表现 [Ktransformers FAQ](https://kvcache-ai.github.io/ktransformers/en/FAQ.html#q-if-i-dont-have-enough-vram-but-i-have-multiple-gpus-how-can-i-utilize-them)