[GH-ISSUE #653] 启用后对话不输出回答。 #478

New issue

Closed

opened 2026-10-29 14:40:18 +00:00 by bsakaguchi · 1 comment

bsakaguchi commented

2026-10-29 14:40:18 +00:00

Owner

Originally created by @Juanhao on GitHub (Feb 25, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/653

我的操作系统：ubuntu22.04
显卡：2x RTX4090
内存：384G DDR4内存
CPU：2x Intel Xeon Platinum 8352V
我运行的模型：DeepSeek-R1-UD-IQ1_S
运行的命令：
python /home/ubuntuserver/ktransformers/ktransformers/local_chat.py --model_path /home/ubuntuserver/DeepSeek-R1-UD-IQ1_M/ --gguf_path /home/ubuntuserver/DeepSeek-R1-UD-IQ1_M/merged_file.gguf --cpu_infer 10 --max_new_tokens 1000 --optimize_rule_path /home/ubuntuserver/ktransformers/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu.yaml
目前遇到在输入问题后，一直是空白，然后等待一会后，只会输出运算的指标：

prompt eval count:    4 token(s)
prompt eval duration: 0.26175642013549805s
prompt eval rate:     15.281382584348465 tokens/s
eval count:           1000 token(s)
eval duration:        47.76572918891907s
eval rate:            20.935512070691573 tokens/s

如图

这个情况如何解决呢

Originally created by @Juanhao on GitHub (Feb 25, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/653 我的操作系统：ubuntu22.04 显卡：2x RTX4090 内存：384G DDR4内存 CPU：2x Intel Xeon Platinum 8352V 我运行的模型：DeepSeek-R1-UD-IQ1_S 运行的命令： `python /home/ubuntuserver/ktransformers/ktransformers/local_chat.py --model_path /home/ubuntuserver/DeepSeek-R1-UD-IQ1_M/ --gguf_path /home/ubuntuserver/DeepSeek-R1-UD-IQ1_M/merged_file.gguf --cpu_infer 10 --max_new_tokens 1000 --optimize_rule_path /home/ubuntuserver/ktransformers/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu.yaml` 目前遇到在输入问题后，一直是空白，然后等待一会后，只会输出运算的指标： ``` prompt eval count: 4 token(s) prompt eval duration: 0.26175642013549805s prompt eval rate: 15.281382584348465 tokens/s eval count: 1000 token(s) eval duration: 47.76572918891907s eval rate: 20.935512070691573 tokens/s ``` 如图 <img width="472" alt="Image" src="https://github.com/user-attachments/assets/89f6311e-df48-42ac-8660-92d6d1d3d5f9" /> 这个情况如何解决呢

bsakaguchi closed this issue

2026-10-29 14:40:18 +00:00

bsakaguchi commented

2026-10-29 14:40:19 +00:00

Author

Owner

@Azure-Tang commented on GitHub (Feb 25, 2025):

我们不支持IQ4以外的IQ格式权重，具体支持的格式请看installation guide

@Azure-Tang commented on GitHub (Feb 25, 2025): 我们不支持IQ4以外的IQ格式权重，具体支持的格式请看installation guide