[GH-ISSUE #1475] [Bug] kt0.3.2部署deepseek-r1-0528-q4_k_m回答一直重复相同内容 #984

New issue

Closed

opened 2026-10-29 14:47:10 +00:00 by bsakaguchi · 3 comments

bsakaguchi commented

2026-10-29 14:47:10 +00:00

Owner

Originally created by @Snowdestiny on GitHub (Aug 14, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/1475

检查清单

1. 我已经搜索过相关问题，但未能获得预期的帮助
2. 该问题在最新版本中尚未修复
3. 请注意，如果您提交的BUG相关 issue 缺少对应环境信息和最小可复现示例，我们将难以复现和定位问题，降低获得反馈的可能性
4. 如果您提出的不是bug而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭
5. 为方便社区交流，我将使用中文/英文或附上中文/英文翻译（如使用其他语言）。未附带翻译的非中文/英语内容可能会被关闭

问题描述

图放下面了，上面第一个问题是问的who are you，刚开始思考2句就一直重复内容，最下面问的比较2个数值大小。速度只有1Token/s，求帮助谢谢~

复现步骤

编译kt的时候是直接用的 bash install.sh
模型用的deepseek-r1-0528-Q4_K_M.gguf
指令大概是（公司电脑，只有晚上空了才有时间用）：
python -m ktransformers.local_chat --model_path /opt/unsloth/r1 --gguf_path /opt/unsloth/r1/DeepSeek-R1-0528-UD-Q4_K_M-00001-of-00009.gguf --optimize_config_path /root/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat.yaml --cpu_infer 30 temperature 0.7 max_new_tokens 200

环境信息

硬件环境：
Ubuntu22.04
CPU：8454H （2个）
显卡：RTX 4090
内存：480G
磁盘:J.ZAO 5 SERIES 1TB SSD( 1024GB )
GLOWAY Basic+2TNVMe-M.2/80(2048GB )
软件版本：
cuda: 12.4
torch:2.5.1
pytorch:2.5.1
其他的记不住了，另外这台电脑上有多系统，模型没放在ubuntu的系统盘下，是通过挂载的方式加载的其他盘

Originally created by @Snowdestiny on GitHub (Aug 14, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/1475 ### 检查清单 - [x] 1. 我已经搜索过相关问题，但未能获得预期的帮助 - [x] 2. 该问题在最新版本中尚未修复 - [x] 3. 请注意，如果您提交的BUG相关 issue 缺少对应环境信息和最小可复现示例，我们将难以复现和定位问题，降低获得反馈的可能性 - [x] 4. 如果您提出的不是bug而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭 - [x] 5. 为方便社区交流，我将使用中文/英文或附上中文/英文翻译（如使用其他语言）。未附带翻译的非中文/英语内容可能会被关闭 ### 问题描述图放下面了，上面第一个问题是问的who are you，刚开始思考2句就一直重复内容，最下面问的比较2个数值大小。速度只有1Token/s，求帮助谢谢~ ### 复现步骤编译kt的时候是直接用的 bash install.sh 模型用的deepseek-r1-0528-Q4_K_M.gguf 指令大概是（公司电脑，只有晚上空了才有时间用）： python -m ktransformers.local_chat --model_path /opt/unsloth/r1 --gguf_path /opt/unsloth/r1/DeepSeek-R1-0528-UD-Q4_K_M-00001-of-00009.gguf --optimize_config_path /root/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat.yaml --cpu_infer 30 temperature 0.7 max_new_tokens 200 ### 环境信息硬件环境： Ubuntu22.04 CPU：8454H （2个）显卡：RTX 4090 内存：480G 磁盘:J.ZAO 5 SERIES 1TB SSD( 1024GB ) GLOWAY Basic+2TNVMe-M.2/80(2048GB ) 软件版本： cuda: 12.4 torch:2.5.1 pytorch:2.5.1 其他的记不住了，另外这台电脑上有多系统，模型没放在ubuntu的系统盘下，是通过挂载的方式加载的其他盘 ![Image](https://github.com/user-attachments/assets/6c7a784c-8d17-4501-909f-abea896933ae)

bsakaguchi closed this issue

2026-10-29 14:47:10 +00:00

bsakaguchi commented

2026-10-29 14:47:10 +00:00

Author

Owner

@PPXGS commented on GitHub (Sep 11, 2025):

指定这个GGUF文件夹试试，不去指定单个文件

@PPXGS commented on GitHub (Sep 11, 2025): 指定这个GGUF文件夹试试，不去指定单个文件

bsakaguchi commented

2026-10-29 14:47:11 +00:00

Author

Owner

@Snowdestiny commented on GitHub (Sep 11, 2025):

收到~~

@Snowdestiny commented on GitHub (Sep 11, 2025): 收到~~

bsakaguchi commented

2026-10-29 14:47:11 +00:00

Author

Owner

@Snowdestiny commented on GitHub (Sep 11, 2025):

指定这个GGUF文件夹试试，不去指定单个文件

已经解决了，我后面尝试重装各插件版本还有改配置文件和参数，最后找了个专门安装的给我全部重新装了一遍，cuda12.8其他版本忘了，然后还是一样的回答状态。那个人让我在电脑上重新下载模型，说他装的多，必须在部署的电脑上直接下载--我就重新下了次，，居然就正常了~！~
所以之前我装的没问题，就是模型文件问题--之前那模型文件是从其他电脑下载后拷贝过去的，哪怕是同样的下载路径

@Snowdestiny commented on GitHub (Sep 11, 2025): > 指定这个GGUF文件夹试试，不去指定单个文件已经解决了，我后面尝试重装各插件版本还有改配置文件和参数，最后找了个专门安装的给我全部重新装了一遍，cuda12.8其他版本忘了，然后还是一样的回答状态。那个人让我在电脑上重新下载模型，说他装的多，必须在部署的电脑上直接下载--我就重新下了次，，居然就正常了~！~ 所以之前我装的没问题，就是模型文件问题--之前那模型文件是从其他电脑下载后拷贝过去的，哪怕是同样的下载路径