[GH-ISSUE #1330] 我想要普通的transformers方式运行模型，但是运行ktransformers命令行时加入--backend_type transformers参数后发生报错 #896

New issue

Open

opened 2026-10-29 14:45:52 +00:00 by bsakaguchi · 0 comments

bsakaguchi commented

2026-10-29 14:45:52 +00:00

Owner

Originally created by @huxiang088 on GitHub (May 21, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/1330

检查清单

1. 我已经搜索过相关问题，但未能获得预期的帮助
2. 该问题在最新版本中尚未修复
3. 请注意，如果您提交的BUG相关 issue 缺少对应环境信息和最小可复现示例，我们将难以复现和定位问题，降低获得反馈的可能性
4. 如果您提出的不是bug而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭
5. 为方便社区交流，我将使用中文/英文或附上中文/英文翻译（如使用其他语言）。未附带翻译的非中文/英语内容可能会被关闭

问题描述

我想要普通的transformers方式运行模型，但是运行ktransformers命令行时加入--backend_type transformers参数后发生报错
报错文件在: ktransformers/server/backend/interfaces/transformers.py
信息如下:
AttributeError: 'StaticCache' object has no attribute 'remove_suffix' :行数在296
AttributeError：'QWen2ForCausalLM' 对象没有属性 '_get_logits_warper' :行数在225，此错误在后端类型为ktransformers开启服务api后也会发生

复现步骤

DeepSeek-R1-Distill-Qwen-7B

环境信息

cpu:i7-8086k
gpu:rtx 3080
环境:windows-wsl

Originally created by @huxiang088 on GitHub (May 21, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/1330 ### 检查清单 - [x] 1. 我已经搜索过相关问题，但未能获得预期的帮助 - [x] 2. 该问题在最新版本中尚未修复 - [ ] 3. 请注意，如果您提交的BUG相关 issue 缺少对应环境信息和最小可复现示例，我们将难以复现和定位问题，降低获得反馈的可能性 - [ ] 4. 如果您提出的不是bug而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭 - [ ] 5. 为方便社区交流，我将使用中文/英文或附上中文/英文翻译（如使用其他语言）。未附带翻译的非中文/英语内容可能会被关闭 ### 问题描述我想要普通的transformers方式运行模型，但是运行ktransformers命令行时加入--backend_type transformers参数后发生报错报错文件在: ktransformers/server/backend/interfaces/transformers.py 信息如下: AttributeError: 'StaticCache' object has no attribute 'remove_suffix' :行数在296 AttributeError：'QWen2ForCausalLM' 对象没有属性 '_get_logits_warper' :行数在225，此错误在后端类型为ktransformers开启服务api后也会发生 ### 复现步骤 DeepSeek-R1-Distill-Qwen-7B ### 环境信息 cpu:i7-8086k gpu:rtx 3080 环境:windows-wsl