[GH-ISSUE #1038] [Bug] 0.2.4 推理无法终止 #734

New issue

Open

opened 2026-10-29 14:43:41 +00:00 by bsakaguchi · 7 comments

bsakaguchi commented

2026-10-29 14:43:41 +00:00

Owner

Originally created by @Pb-207 on GitHub (Apr 3, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/1038

检查清单

1. 我已经搜索过相关问题，但未能获得预期的帮助
2. 该问题在最新版本中尚未修复
3. 请注意，如果您提交的BUG相关 issue 缺少对应环境信息和最小可复现示例，我们将难以复现和定位问题，降低获得反馈的可能性
4. 如果您提出的不是bug而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭
5. 为方便社区交流，我将使用中文/英文或附上中文/英文翻译（如使用其他语言）。未附带翻译的非中文/英语内容可能会被关闭

问题描述

使用 Open-WebUI 作为前端使用，发出终止请求后后台仍在继续运行推理，0.2.3版本可以正常终止推理。

复现步骤

ktransformers
--model_path "/media/pb-207/LLM/models/DeepSeek/config"
--gguf_path "/media/pb-207/LLM/models/DeepSeek/DeepSeek-V3-Q4_K_M"
--optimize_config_path ~/PyProj/ktransformers/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-serve.yaml
--port 2345
--max_new_tokens 1024
--cache_lens 32768
--chunk_size 1024
--cpu_infer 32
--backend_type balance_serve
--max_batch_size 4
--model_name deepseek-chat

环境信息

CPU：EPYC 9965
RAM：12 * 6400 MHz 48G
GPU：4090

Originally created by @Pb-207 on GitHub (Apr 3, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/1038 ### 检查清单 - [x] 1. 我已经搜索过相关问题，但未能获得预期的帮助 - [x] 2. 该问题在最新版本中尚未修复 - [x] 3. 请注意，如果您提交的BUG相关 issue 缺少对应环境信息和最小可复现示例，我们将难以复现和定位问题，降低获得反馈的可能性 - [x] 4. 如果您提出的不是bug而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭 - [x] 5. 为方便社区交流，我将使用中文/英文或附上中文/英文翻译（如使用其他语言）。未附带翻译的非中文/英语内容可能会被关闭 ### 问题描述使用 Open-WebUI 作为前端使用，发出终止请求后后台仍在继续运行推理，0.2.3版本可以正常终止推理。 ### 复现步骤 ktransformers \ --model_path "/media/pb-207/LLM/models/DeepSeek/config" \ --gguf_path "/media/pb-207/LLM/models/DeepSeek/DeepSeek-V3-Q4_K_M" \ --optimize_config_path ~/PyProj/ktransformers/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-serve.yaml \ --port 2345 \ --max_new_tokens 1024 \ --cache_lens 32768 \ --chunk_size 1024 \ --cpu_infer 32 \ --backend_type balance_serve \ --max_batch_size 4 \ --model_name deepseek-chat ### 环境信息 CPU：EPYC 9965 RAM：12 * 6400 MHz 48G GPU：4090

bsakaguchi commented

2026-10-29 14:43:42 +00:00

Author

Owner

@yeungtuzi commented on GitHub (Apr 4, 2025):

看看是不是open-webui在对话结束后继续请求了生成对话标题和标签（管理员设置-界面-生成标题、生成标签）

@yeungtuzi commented on GitHub (Apr 4, 2025): 看看是不是open-webui在对话结束后继续请求了生成对话标题和标签（管理员设置-界面-生成标题、生成标签）

bsakaguchi commented

2026-10-29 14:43:42 +00:00

Author

Owner

@qiyuxinlin commented on GitHub (Apr 4, 2025):