[GH-ISSUE #1187] [Feature] 能否在readme 里面添加一下单独cpu 版本的编译和带cuda版本的编译指导 #814

New issue

Open

opened 2026-10-29 14:44:53 +00:00 by bsakaguchi · 3 comments

bsakaguchi commented

2026-10-29 14:44:53 +00:00

Owner

Originally created by @luotf89 on GitHub (Apr 23, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/1187

检查清单

1. 如果您提出的不是新功能而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭
2. 为方便社区交流，我将使用中文/英文或附上英文/中文翻译（如使用其他语言）。未附带翻译的非英文/中文内容可能会被关闭

需求背景

能否在readme 里面添加一下单独cpu 版本的编译和带cuda版本的编译指导

相关资源

No response

Originally created by @luotf89 on GitHub (Apr 23, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/1187 ### 检查清单 - [ ] 1. 如果您提出的不是新功能而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭 - [ ] 2. 为方便社区交流，我将使用中文/英文或附上英文/中文翻译（如使用其他语言）。未附带翻译的非英文/中文内容可能会被关闭 ### 需求背景能否在readme 里面添加一下单独cpu 版本的编译和带cuda版本的编译指导 ### 相关资源 _No response_

bsakaguchi commented

2026-10-29 14:44:55 +00:00

Author

Owner

@yeungtuzi commented on GitHub (Apr 23, 2025):

纯CPU版本建议直接使用vLLM vLLM，vLLM更成熟。

@yeungtuzi commented on GitHub (Apr 23, 2025): 纯CPU版本建议直接使用vLLM [vLLM](https://docs.vllm.ai/en/latest/getting_started/installation/cpu.html)，vLLM更成熟。

bsakaguchi commented

2026-10-29 14:44:55 +00:00

Author

Owner

@qiyuxinlin commented on GitHub (Apr 24, 2025):

@luotf89 您好，默认是 cuda 版本的编译指导，单独 cpu 版本 balance_serve 后端缺少 attention、rms、linear 算子，后续可能支持纯 cpu 运行

@qiyuxinlin commented on GitHub (Apr 24, 2025): @luotf89 您好，默认是 cuda 版本的编译指导，单独 cpu 版本 balance_serve 后端缺少 attention、rms、linear 算子，后续可能支持纯 cpu 运行

bsakaguchi commented

2026-10-29 14:44:55 +00:00

Author

Owner

@spaceater commented on GitHub (Apr 29, 2025):

纯CPU版本建议直接使用vLLM vLLM，vLLM更成熟。

vLLM（0.8.4）在CPU平台不支持MoE模型的awq、gptq量化，因为MoE模型使用的是marlin内核，而marlin内核不支持CPU。

@spaceater commented on GitHub (Apr 29, 2025): > 纯CPU版本建议直接使用vLLM [vLLM](https://docs.vllm.ai/en/latest/getting_started/installation/cpu.html)，vLLM更成熟。 vLLM（0.8.4）在CPU平台不支持MoE模型的awq、gptq量化，因为MoE模型使用的是marlin内核，而marlin内核不支持CPU。

bsakaguchi referenced this issue

2026-10-29 14:52:53 +00:00

[PR #814] [CLOSED] [fix] Fix compilation #1491