[GH-ISSUE #837] [Bug] 使用docker部署运行deepseek-R1 Q4 K M，每次对话都是新对话，没有记忆 #604

New issue

Closed

opened 2026-10-29 14:41:51 +00:00 by bsakaguchi · 1 comment

bsakaguchi commented

2026-10-29 14:41:51 +00:00

Owner

Originally created by @OHLIA on GitHub (Mar 7, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/837

检查清单

1. 我已经搜索过相关问题，但未能获得预期的帮助
2. 该问题在最新版本中尚未修复
3. 请注意，如果您提交的BUG相关 issue 缺少对应环境信息和最小可复现示例，我们将难以复现和定位问题，降低获得反馈的可能性
4. 如果您提出的不是bug而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭
5. 为方便社区交流，我将使用中文/英文或附上中文/英文翻译（如使用其他语言）。未附带翻译的非中文/英语内容可能会被关闭

问题描述

[Bug] 使用docker部署运行deepseek-R1 Q4 K M，每次对话都是新对话，没有记忆

复现步骤

运行指令：

python -m ktransformers.local_chat  --gguf_path "/models/gguf"  --model_path "/models" --cpu_infer 48 --max_new_tokens 9999  --optimize_rule_path   ./ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat.yaml

每次对话都是新对话，没有上条的记忆，网上搜了很多部署教程都没提到。

环境信息

测试配置：

CPU: Intel xeon CPU MAX 9468 x2
DIMM: 1DPC DDR5 5600MhZ 32G x 16
GPU: RTX 3090 24G x2

OS: RHEL8.8

docker：approachingai/ktransformers:v0.2.2rc1-AVX512，

Originally created by @OHLIA on GitHub (Mar 7, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/837 ### 检查清单 - [x] 1. 我已经搜索过相关问题，但未能获得预期的帮助 - [x] 2. 该问题在最新版本中尚未修复 - [x] 3. 请注意，如果您提交的BUG相关 issue 缺少对应环境信息和最小可复现示例，我们将难以复现和定位问题，降低获得反馈的可能性 - [x] 4. 如果您提出的不是bug而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭 - [x] 5. 为方便社区交流，我将使用中文/英文或附上中文/英文翻译（如使用其他语言）。未附带翻译的非中文/英语内容可能会被关闭 ### 问题描述 [Bug] 使用docker部署运行deepseek-R1 Q4 K M，每次对话都是新对话，没有记忆 ### 复现步骤运行指令： ```shell python -m ktransformers.local_chat --gguf_path "/models/gguf" --model_path "/models" --cpu_infer 48 --max_new_tokens 9999 --optimize_rule_path ./ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat.yaml ``` 每次对话都是新对话，没有上条的记忆，网上搜了很多部署教程都没提到。 ### 环境信息测试配置： ```shell CPU: Intel xeon CPU MAX 9468 x2 DIMM: 1DPC DDR5 5600MhZ 32G x 16 GPU: RTX 3090 24G x2 OS: RHEL8.8 ``` docker：approachingai/ktransformers:v0.2.2rc1-AVX512，

bsakaguchi closed this issue

2026-10-29 14:41:52 +00:00

bsakaguchi commented

2026-10-29 14:41:52 +00:00

Author

Owner

@Atream commented on GitHub (Mar 8, 2025):

目前local chat模式每次对话都是清空上下文，如需要带有历史记录的会话请使用server，我们后续也会将local chat与server统一以支持多轮对话

@Atream commented on GitHub (Mar 8, 2025): 目前local chat模式每次对话都是清空上下文，如需要带有历史记录的会话请使用server，我们后续也会将local chat与server统一以支持多轮对话