[GH-ISSUE #1314] [Bug] decode_batch_i: 3现在最大只有3个吗？ #883

New issue

Closed

opened 2026-10-29 14:45:45 +00:00 by bsakaguchi · 2 comments

bsakaguchi commented

2026-10-29 14:45:45 +00:00

Owner

Originally created by @jiyif11 on GitHub (May 17, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/1314

检查清单

1. 我已经搜索过相关问题，但未能获得预期的帮助
2. 该问题在最新版本中尚未修复
3. 请注意，如果您提交的BUG相关 issue 缺少对应环境信息和最小可复现示例，我们将难以复现和定位问题，降低获得反馈的可能性
4. 如果您提出的不是bug而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭
5. 为方便社区交流，我将使用中文/英文或附上中文/英文翻译（如使用其他语言）。未附带翻译的非中文/英语内容可能会被关闭

问题描述

max_batch_size: 6 ，每次并发却只有3个输出剩下的一直处于等待状态

复现步骤

使用deepseek-R1 默认配置

环境信息

ubuntu-24.04
4090D
i9

Originally created by @jiyif11 on GitHub (May 17, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/1314 ### 检查清单 - [x] 1. 我已经搜索过相关问题，但未能获得预期的帮助 - [x] 2. 该问题在最新版本中尚未修复 - [x] 3. 请注意，如果您提交的BUG相关 issue 缺少对应环境信息和最小可复现示例，我们将难以复现和定位问题，降低获得反馈的可能性 - [x] 4. 如果您提出的不是bug而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭 - [x] 5. 为方便社区交流，我将使用中文/英文或附上中文/英文翻译（如使用其他语言）。未附带翻译的非中文/英语内容可能会被关闭 ### 问题描述 max_batch_size: 6 ，每次并发却只有3个输出剩下的一直处于等待状态 ### 复现步骤使用deepseek-R1 默认配置 ### 环境信息 ubuntu-24.04 4090D i9

bsakaguchi closed this issue

2026-10-29 14:45:45 +00:00

bsakaguchi commented

2026-10-29 14:45:45 +00:00

Author

Owner

@344303947 commented on GitHub (May 17, 2025):

看设置的上下文长度*并发数量，超过最大缓存长度，就不会并发了。

@344303947 commented on GitHub (May 17, 2025): 看设置的上下文长度*并发数量，超过最大缓存长度，就不会并发了。

bsakaguchi commented

2026-10-29 14:45:46 +00:00

Author