[GH-ISSUE #1294] [Feature] 能否将Attention层移到CPU进行纯CPU推理？ #875

New issue

Closed

opened 2026-10-29 14:45:39 +00:00 by bsakaguchi · 3 comments

bsakaguchi commented

2026-10-29 14:45:39 +00:00

Owner

Originally created by @xuedun on GitHub (May 14, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/1294

检查清单

1. 如果您提出的不是新功能而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭
2. 为方便社区交流，我将使用中文/英文或附上英文/中文翻译（如使用其他语言）。未附带翻译的非英文/中文内容可能会被关闭

需求背景

如果希望进行纯CPU推理，能否通过简单的修改实现？或是根据你们的经验，有没有什么开源库适合CPU侧的attention计算？

相关资源

No response

Originally created by @xuedun on GitHub (May 14, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/1294 ### 检查清单 - [ ] 1. 如果您提出的不是新功能而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭 - [ ] 2. 为方便社区交流，我将使用中文/英文或附上英文/中文翻译（如使用其他语言）。未附带翻译的非英文/中文内容可能会被关闭 ### 需求背景如果希望进行纯CPU推理，能否通过简单的修改实现？或是根据你们的经验，有没有什么开源库适合CPU侧的attention计算？ ### 相关资源 _No response_

bsakaguchi closed this issue

2026-10-29 14:45:39 +00:00

bsakaguchi commented

2026-10-29 14:45:39 +00:00

Author

Owner

@Flying-Cloud commented on GitHub (May 14, 2025):

llama.cpp?

@Flying-Cloud commented on GitHub (May 14, 2025): llama.cpp?

bsakaguchi commented

2026-10-29 14:45:40 +00:00

Author

Owner

@yeungtuzi commented on GitHub (May 14, 2025):

vllm现在已经支持纯CPU

@yeungtuzi commented on GitHub (May 14, 2025): vllm现在已经支持纯CPU

bsakaguchi commented

2026-10-29 14:45:40 +00:00

Author

Owner

@qiyuxinlin commented on GitHub (May 14, 2025):

如果要做纯 CPU 推理，需要将线性层、rmsnorm、MLA attention 替换成 torch 算子,我刚刚上传了一个 attention 和 rmsnorm 的 torch CPU 实现，线性层需要替换为 kLinearTorch 实现，您可以参照其他 yaml 写一个 inject 规则注入到 balance_serve 中

@qiyuxinlin commented on GitHub (May 14, 2025): 如果要做纯 CPU 推理，需要将线性层、rmsnorm、MLA attention 替换成 torch 算子,我刚刚上传了一个 attention 和 rmsnorm 的 torch CPU 实现，线性层需要替换为 kLinearTorch 实现，您可以参照其他 yaml 写一个 inject 规则注入到 balance_serve 中