[GH-ISSUE #674] 求助：chat回答乱码和越界问题 #488

New issue

Closed

opened 2026-10-29 14:40:24 +00:00 by bsakaguchi · 1 comment

bsakaguchi commented

2026-10-29 14:40:24 +00:00

Owner

Originally created by @eyu-small on GitHub (Feb 26, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/674

软硬件环境：

硬件环境：4090一张；128核服务器一台
软件版本：ktransformers-0.2.1.post1+cu124torch24avx512-cp310-cp310-linux_x86_64.whl
和671B Q4量化模型
运行指令：
ktransformers --cpu_infer 81 --model_path /data/ftp/compute/model-data/models/deepseek-ai/DeepSeek-R1-Q4_K_M --gguf_path /data/ftp/compute/model-data/models/deepseek-ai/DeepSeek-R1-Q4_K_M --port 8800 --host 0.0.0.0 --web True --max_new_tokens 10240 --model_name deepseek --force_think --max_new_tokens 8192 --cache_lens 32768 --total_context 32768

问题描述：

简单的对话没有问题，做复杂的工作，嘴碎，说的停不下来，直到崩溃为止。
前面说的是正确的，后面说的乱码了。
如图所示：

尝试过的方法：
（1）修改--max_new_tokens 为1024 2048等，结果：没有效果；

Originally created by @eyu-small on GitHub (Feb 26, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/674 软硬件环境： 1. 硬件环境：4090一张；128核服务器一台 2. 软件版本：ktransformers-0.2.1.post1+cu124torch24avx512-cp310-cp310-linux_x86_64.whl 和671B Q4量化模型 3. 运行指令： ktransformers --cpu_infer 81 --model_path /data/ftp/compute/model-data/models/deepseek-ai/DeepSeek-R1-Q4_K_M --gguf_path /data/ftp/compute/model-data/models/deepseek-ai/DeepSeek-R1-Q4_K_M --port 8800 --host 0.0.0.0 --web True --max_new_tokens 10240 --model_name deepseek --force_think --max_new_tokens 8192 --cache_lens 32768 --total_context 32768 问题描述： 1. 简单的对话没有问题，做复杂的工作，嘴碎，说的停不下来，直到崩溃为止。 2. 前面说的是正确的，后面说的乱码了。如图所示： ![Image](https://github.com/user-attachments/assets/ad042ef1-c6ae-4de0-abe7-236e370bc68d) 尝试过的方法：（1）修改--max_new_tokens 为1024 2048等，结果：没有效果；

bsakaguchi

2026-10-29 14:40:24 +00:00

closed this issue
added the
stale
label

bsakaguchi commented

2026-10-29 14:40:25 +00:00

Author

Owner

@ErvinXie commented on GitHub (Dec 11, 2025):

This issue has been automatically closed due to inactivity for 60 days.

If you believe this issue is still relevant, please feel free to reopen it with additional information or context.

Thank you for your contribution to KTransformers!

此 issue 因超过 60 天无活动而被自动关闭。

如果您认为此问题仍然存在，请随时重新打开并提供更多信息或上下文。

感谢您对 KTransformers 的贡献！

@ErvinXie commented on GitHub (Dec 11, 2025): This issue has been automatically closed due to inactivity for 60 days. If you believe this issue is still relevant, please feel free to reopen it with additional information or context. Thank you for your contribution to KTransformers! --- 此 issue 因超过 60 天无活动而被自动关闭。如果您认为此问题仍然存在，请随时重新打开并提供更多信息或上下文。感谢您对 KTransformers 的贡献！