kvcache-ai/ktransformers

Fork 0

mirror of https://github.com/kvcache-ai/ktransformers.git synced 2026-11-05 01:07:28 +00:00

[GH-ISSUE #331] 推理死循环 #212

New issue

Closed

opened 2026-10-29 14:35:55 +00:00 by bsakaguchi · 7 comments

bsakaguchi commented

2026-10-29 14:35:55 +00:00

Owner

Originally created by @maaaxinfinity on GitHub (Feb 15, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/331

使用0.21版本
在尝试默认预设词进行回答后回答陷入死循环

使用我自己的提示词
同样陷入死循环
pastebin

模型使用671b Q4量化

Originally created by @maaaxinfinity on GitHub (Feb 15, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/331 使用0.21版本在尝试默认预设词进行回答后回答陷入死循环 ![Image](https://github.com/user-attachments/assets/44c00d8c-1b3a-4146-95b4-102cdd3673a2) 使用我自己的提示词同样陷入死循环 [pastebin](https://pastebin.limitee.top/?68fed2f2b162973e#59x1PtN36e1JAoEbJbXPUUx97jKjM9iwCDGc4QBVwLLw) 模型使用671b Q4量化

bsakaguchi closed this issue

2026-10-29 14:35:55 +00:00

bsakaguchi commented

2026-10-29 14:35:56 +00:00

Author

Owner

@maaaxinfinity commented on GitHub (Feb 15, 2025):

我的启动参数 numactl -N 1 -m 1 python3 ./ktransformers/local_chat.py --model_path ./DeepSeek-R1 --gguf_path /mnt/model/DeepSeek-R1 --cpu_infer 18 --cache_lens 1536 --max_new_tokens 4096 --optimize_config_path ./ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat.yaml --force_think true

@maaaxinfinity commented on GitHub (Feb 15, 2025): 我的启动参数 numactl -N 1 -m 1 python3 ./ktransformers/local_chat.py --model_path ./DeepSeek-R1 --gguf_path /mnt/model/DeepSeek-R1 --cpu_infer 18 --cache_lens 1536 --max_new_tokens 4096 --optimize_config_path ./ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat.yaml --force_think true

bsakaguchi commented

2026-10-29 14:35:56 +00:00

Author

Owner

@3wweiweiwu commented on GitHub (Feb 15, 2025):

我也遇到了同样的问题

Version: 0.21
OS: Ubuntu 22
Compilation: USE_NUMA=1
CPU: AMD EPYC 74F3 36-Core Processor
Memory： 880G
Command:

python ./ktransformers/local_chat.py --model_path deepseek-ai/DeepSeek-R1 --gguf_path ~/deepseek/DeepSeek-R1-Q4_K_M  --cpu_infer 70 --optimize_rule_path~/ktransformers/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu.yaml --max_new_tokens 32767

Workaround: Revert to 0.2. But this degrade performance from 7token/s to 1token/s

@3wweiweiwu commented on GitHub (Feb 15, 2025): 我也遇到了同样的问题 **Version**: 0.21 **OS**: Ubuntu 22 **Compilation**: USE_NUMA=1 **CPU**: AMD EPYC 74F3 36-Core Processor **Memory**： 880G **Command**: ```bash python ./ktransformers/local_chat.py --model_path deepseek-ai/DeepSeek-R1 --gguf_path ~/deepseek/DeepSeek-R1-Q4_K_M --cpu_infer 70 --optimize_rule_path~/ktransformers/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu.yaml --max_new_tokens 32767 ``` **Workaround**: Revert to 0.2. But this degrade performance from 7token/s to 1token/s

bsakaguchi commented

2026-10-29 14:35:56 +00:00

Author

Owner

@DotIN13 commented on GitHub (Feb 15, 2025):

同样的问题，Llama.cpp没有类似的问题

@DotIN13 commented on GitHub (Feb 15, 2025): 同样的问题，Llama.cpp没有类似的问题

bsakaguchi commented

2026-10-29 14:35:56 +00:00

Author

Owner

@KMSorSMS commented on GitHub (Feb 16, 2025):

使用0.21版本在尝试默认预设词进行回答后回答陷入死循环

使用我自己的提示词同样陷入死循环 pastebin

模型使用671b Q4量化

是MLA部分算子的问题，新commit的版本先默认取消了，应该就不会出这个问题，我们后续会更正算子

@KMSorSMS commented on GitHub (Feb 16, 2025): > 使用0.21版本在尝试默认预设词进行回答后回答陷入死循环 > > ![Image](https://github.com/user-attachments/assets/44c00d8c-1b3a-4146-95b4-102cdd3673a2) > > 使用我自己的提示词同样陷入死循环 [pastebin](https://pastebin.limitee.top/?68fed2f2b162973e#59x1PtN36e1JAoEbJbXPUUx97jKjM9iwCDGc4QBVwLLw) > > 模型使用671b Q4量化是MLA部分算子的问题，新commit的版本先默认取消了，应该就不会出这个问题，我们后续会更正算子

bsakaguchi commented

2026-10-29 14:35:57 +00:00

Author

Owner

@ToviHe commented on GitHub (Feb 17, 2025):

使用0.21版本在尝试默认预设词进行回答后回答陷入死循环

使用我自己的提示词同样陷入死循环 pastebin
模型使用671b Q4量化

是MLA部分算子的问题，新commit的版本先默认取消了，应该就不会出这个问题，我们后续会更正算子

想咨询下，目前使用哪个版本不会出现死循环？我们使用的也是0.2.1

@ToviHe commented on GitHub (Feb 17, 2025): > > 使用0.21版本在尝试默认预设词进行回答后回答陷入死循环 > > ![Image](https://github.com/user-attachments/assets/44c00d8c-1b3a-4146-95b4-102cdd3673a2) > > 使用我自己的提示词同样陷入死循环 [pastebin](https://pastebin.limitee.top/?68fed2f2b162973e#59x1PtN36e1JAoEbJbXPUUx97jKjM9iwCDGc4QBVwLLw) > > 模型使用671b Q4量化 > > 是MLA部分算子的问题，新commit的版本先默认取消了，应该就不会出这个问题，我们后续会更正算子想咨询下，目前使用哪个版本不会出现死循环？我们使用的也是0.2.1

bsakaguchi commented

2026-10-29 14:35:57 +00:00

Author

Owner

@maaaxinfinity commented on GitHub (Feb 17, 2025):

使用0.21版本在尝试默认预设词进行回答后回答陷入死循环

使用我自己的提示词同样陷入死循环 pastebin
模型使用671b Q4量化

是MLA部分算子的问题，新commit的版本先默认取消了，应该就不会出这个问题，我们后续会更正算子

想咨询下，目前使用哪个版本不会出现死循环？我们使用的也是0.2.1

官方的回复👇
关于0.2.1版本模型降智的问题，我们已经找到bug，大家可以pull fix_precision_MLA分支（PR 413）并在local_chat里玩耍了，我们会在server侧进一步完善并测试MMLU等benchmark后合入主线，非常抱歉之前测试不完全给大家带来了困扰。此次修改也支持了flashinfer MLA kernel，现在的flashinfer还未优化，性能并不比triton实现快（不安装flashinfer就不会启用）。

@maaaxinfinity commented on GitHub (Feb 17, 2025): > > > 使用0.21版本在尝试默认预设词进行回答后回答陷入死循环 > > > ![Image](https://github.com/user-attachments/assets/44c00d8c-1b3a-4146-95b4-102cdd3673a2) > > > 使用我自己的提示词同样陷入死循环 [pastebin](https://pastebin.limitee.top/?68fed2f2b162973e#59x1PtN36e1JAoEbJbXPUUx97jKjM9iwCDGc4QBVwLLw) > > > 模型使用671b Q4量化 > > > > > > 是MLA部分算子的问题，新commit的版本先默认取消了，应该就不会出这个问题，我们后续会更正算子 > > 想咨询下，目前使用哪个版本不会出现死循环？我们使用的也是0.2.1 官方的回复👇 关于0.2.1版本模型降智的问题，我们已经找到bug，大家可以pull fix_precision_MLA分支（PR 413）并在local_chat里玩耍了，我们会在server侧进一步完善并测试MMLU等benchmark后合入主线，非常抱歉之前测试不完全给大家带来了困扰。此次修改也支持了flashinfer MLA kernel，现在的flashinfer还未优化，性能并不比triton实现快（不安装flashinfer就不会启用）。

bsakaguchi commented

2026-10-29 14:35:57 +00:00

Author

Owner

@3wweiweiwu commented on GitHub (Feb 17, 2025):

使用0.21版本在尝试默认预设词进行回答后回答陷入死循环

使用我自己的提示词同样陷入死循环 pastebin
模型使用671b Q4量化

是MLA部分算子的问题，新commit的版本先默认取消了，应该就不会出这个问题，我们后续会更正算子

想咨询下，目前使用哪个版本不会出现死循环？我们使用的也是0.2.1

You can use 0.2.0
Or you can pull latest code from main branch. It is fixed there also.

@3wweiweiwu commented on GitHub (Feb 17, 2025): > > > 使用0.21版本在尝试默认预设词进行回答后回答陷入死循环 > > > ![Image](https://github.com/user-attachments/assets/44c00d8c-1b3a-4146-95b4-102cdd3673a2) > > > 使用我自己的提示词同样陷入死循环 [pastebin](https://pastebin.limitee.top/?68fed2f2b162973e#59x1PtN36e1JAoEbJbXPUUx97jKjM9iwCDGc4QBVwLLw) > > > 模型使用671b Q4量化 > > > > > > 是MLA部分算子的问题，新commit的版本先默认取消了，应该就不会出这个问题，我们后续会更正算子 > > 想咨询下，目前使用哪个版本不会出现死循环？我们使用的也是0.2.1 You can use 0.2.0 Or you can pull latest code from main branch. It is fixed there also.