[GH-ISSUE #758] [Bug] 安装flashinfer后，生成结果与不开启时差异较大，并会出现遗漏prompt关健信息、输出重复内容的现象 #548

New issue

Closed

opened 2026-10-29 14:41:05 +00:00 by bsakaguchi · 4 comments

bsakaguchi commented

2026-10-29 14:41:05 +00:00

Owner

Originally created by @wkgcass on GitHub (Mar 1, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/758

检查清单

1. 我已经搜索过相关问题，但未能获得预期的帮助
2. 该问题在最新版本中尚未修复
3. 请注意，如果您提交的BUG相关 issue 缺少对应环境信息和最小可复现示例，我们将难以复现和定位问题，降低获得反馈的可能性
4. 如果您提出的不是bug而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭
5. 为方便社区交流，我将使用中文/英文或附上中文/英文翻译（如使用其他语言）。未附带翻译的非中文/英语内容可能会被关闭

问题描述

启用flashinfer后，有较高概率出现：多个</think>tag、同一句话不断重复、关注不到prompt重要信息等问题。

使用DeepSeek R1 Q4或Q8和如下链接所示的提示词时：

https://zhuanlan.zhihu.com/p/20779032138

commit：050b745a6e2d94423bf1138f585a94b661210bff，100%会以 某某知道了 作为开头（我尝试了20次，每次只替换名字，例如“小玲”、“小美”、“小芳”等，都会以“某某知道了”作为开头）；
而commit：b443c7dfa2baeae84658351898eae90d6c330f61，小概率以某某知道了作为开头，并且回答有较高概率出现重复文本、多个</think> tag的情况。

这两个提交是紧挨着的，所以问题应该出在b443c7dfa2baeae84658351898eae90d6c330f61这里。
其中有一个比较明显的改动，是当flashinfer可以被import时，启用了flashinfer的开关。

我拉取的最新版本（511958d49c31c0d850bed1916b58929fd5f5705a）仍存在该问题，仅修改ktransformers/operators/flashinfer_wrapper.py强制让flashinfer = False后，问题不再发生。

此外：

使用flashinfer==0.2.1.post2+cu124torch2.6时会出现上述问题
使用flashinfer==0.2.2.post1+cu124torch2.6时会报错，抱歉具体错误忘记截了，如果需要我可以再去截一下

复现步骤

git checkout 050b745a6e2d94423bf1138f585a94b661210bff
make install_numa

按照 https://zhuanlan.zhihu.com/p/20779032138 输入提示词

观察</think>之后的输出。

再 git checkout b443c7dfa2baeae84658351898eae90d6c330f61 ，执行上述命令，观察输出。

环境信息

CPU：9275f * 2
显卡：4070Ti Super (16G)
OS：ubuntu24.04
CUDA：12.4
DRIVER：550.144.03
以USE_NUMA=1编译
启动参数：--cpu_infer 46 --max_new_tokens 8192 --force_think

Originally created by @wkgcass on GitHub (Mar 1, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/758 ### 检查清单 - [x] 1. 我已经搜索过相关问题，但未能获得预期的帮助 - [x] 2. 该问题在最新版本中尚未修复 - [x] 3. 请注意，如果您提交的BUG相关 issue 缺少对应环境信息和最小可复现示例，我们将难以复现和定位问题，降低获得反馈的可能性 - [x] 4. 如果您提出的不是bug而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭 - [x] 5. 为方便社区交流，我将使用中文/英文或附上中文/英文翻译（如使用其他语言）。未附带翻译的非中文/英语内容可能会被关闭 ### 问题描述启用flashinfer后，有较高概率出现：多个`</think>`tag、同一句话不断重复、关注不到prompt重要信息等问题。 --- 使用`DeepSeek R1 Q4或Q8`和如下链接所示的提示词时： ``` https://zhuanlan.zhihu.com/p/20779032138 ``` commit：`050b745a6e2d94423bf1138f585a94b661210bff`，100%会以 `某某知道了` 作为开头（我尝试了20次，每次只替换名字，例如“小玲”、“小美”、“小芳”等，都会以“某某知道了”作为开头）；而commit：`b443c7dfa2baeae84658351898eae90d6c330f61`，小概率以`某某知道了`作为开头，并且回答有较高概率出现重复文本、多个`</think>` tag的情况。这两个提交是紧挨着的，所以问题应该出在`b443c7dfa2baeae84658351898eae90d6c330f61`这里。其中有一个比较明显的改动，是当`flashinfer`可以被import时，启用了flashinfer的开关。 --- 我拉取的最新版本（`511958d49c31c0d850bed1916b58929fd5f5705a`）仍存在该问题，仅修改`ktransformers/operators/flashinfer_wrapper.py`强制让`flashinfer = False`后，问题不再发生。此外： * 使用`flashinfer==0.2.1.post2+cu124torch2.6`时会出现上述问题 * 使用`flashinfer==0.2.2.post1+cu124torch2.6`时会报错，抱歉具体错误忘记截了，如果需要我可以再去截一下 ### 复现步骤 ``` git checkout 050b745a6e2d94423bf1138f585a94b661210bff make install_numa ``` 按照 `https://zhuanlan.zhihu.com/p/20779032138` 输入提示词观察`</think>`之后的输出。再 `git checkout b443c7dfa2baeae84658351898eae90d6c330f61 `，执行上述命令，观察输出。 ### 环境信息 * CPU：`9275f * 2` * 显卡：`4070Ti Super` (16G) * OS：`ubuntu24.04` * CUDA：`12.4` * DRIVER：`550.144.03` * 以`USE_NUMA=1`编译 * 启动参数：`--cpu_infer 46 --max_new_tokens 8192 --force_think`

bsakaguchi closed this issue

2026-10-29 14:41:05 +00:00

bsakaguchi commented

2026-10-29 14:41:06 +00:00

Author

Owner

@qiyuxinlin commented on GitHub (Mar 2, 2025):

感谢您的反馈！我们尽快使用您的示例测试 flashinfer 的效果，我们之前确实没有做过 triton 和 flashinfer 的对比测试

@qiyuxinlin commented on GitHub (Mar 2, 2025): 感谢您的反馈！我们尽快使用您的示例测试 flashinfer 的效果，我们之前确实没有做过 triton 和 flashinfer 的对比测试

bsakaguchi commented

2026-10-29 14:41:06 +00:00

Author

Owner

@luzamm commented on GitHub (Mar 2, 2025):

确实有类似问题, 卸载flashinfer后正常

@luzamm commented on GitHub (Mar 2, 2025): 确实有类似问题, 卸载flashinfer后正常

bsakaguchi commented

2026-10-29 14:41:06 +00:00

Author

Owner

@edward-ng-duke commented on GitHub (Mar 10, 2025):