[GH-ISSUE #724] 再问如何完整编译 #530

New issue

Closed

opened 2026-10-29 14:40:53 +00:00 by bsakaguchi · 1 comment

bsakaguchi commented

2026-10-29 14:40:53 +00:00

Owner

Originally created by @cnsdzbhm on GitHub (Feb 28, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/724

我的运行平台是 X79 E5 2690V2 512G内存，全内存跑DeepSeek-R1:671b-Q4,速度1-2tokens/s，可以正常稳定运行（B站 X79平台纯CPU稳定运行满血版DeepSeek-671b https://www.bilibili.com/video/BV1pZPpeTEr9/?spm_id_from=333.337.search-card.all.click&vd_source=2016f48718747e66277a9c54c332875c）。现在想提升速度，问题是我用不了你这个kt，原因是我的CPU不能支持avx2，我考虑用你的kt系统提升1-2倍速度完全可能。因为路由在显卡里完成起码节省了一半的时间。
我前面发过一个问题是：
我没有avx2，pip dev install . 不能安装，请给个整体编译的说明或创建一个完整的makefile，就像llama.cpp或linux或openwrt一样，编译环境可以宽松些，毕竟编译和运行不是一个概念。有了这完整的编译环境将来就有可能会运行在不同的边缘设备上。
我又看了下代码，请指点江山：
关于avx cpu指令集的问题，在 ./ktransformers/ktransformers/ktransformers_ext/CMakeLists.txt 有option(LLAMA_AVX "llama: enable AVX" OFF) 开关，打开这个开关能行？或者说如何打开这个开关。./ktransformers/setup.py, class CpuInstructInfo: 函数没有AVX的实现，在这里或者后续要做什么工作。
我的观点：
llama.cpp本来是支持avx的，你这里又用了大量的llama.cpp的底层代码库，为什么把Avx的支持给去了，对你们将来合并到llama.cpp也没有益处啊。
你们看了视频就知道X79平台有没有价值了。

Originally created by @cnsdzbhm on GitHub (Feb 28, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/724 我的运行平台是 X79 E5 2690V2 512G内存，全内存跑DeepSeek-R1:671b-Q4,速度1-2tokens/s，可以正常稳定运行（B站 X79平台纯CPU稳定运行满血版DeepSeek-671b https://www.bilibili.com/video/BV1pZPpeTEr9/?spm_id_from=333.337.search-card.all.click&vd_source=2016f48718747e66277a9c54c332875c）。现在想提升速度，问题是我用不了你这个kt，原因是我的CPU不能支持avx2，我考虑用你的kt系统提升1-2倍速度完全可能。因为路由在显卡里完成起码节省了一半的时间。我前面发过一个问题是：我没有avx2，pip dev install . 不能安装，请给个整体编译的说明或创建一个完整的makefile，就像llama.cpp或linux或openwrt一样，编译环境可以宽松些，毕竟编译和运行不是一个概念。有了这完整的编译环境将来就有可能会运行在不同的边缘设备上。我又看了下代码，请指点江山：关于avx cpu指令集的问题，在 ./ktransformers/ktransformers/ktransformers_ext/CMakeLists.txt 有option(LLAMA_AVX "llama: enable AVX" OFF) 开关，打开这个开关能行？或者说如何打开这个开关。./ktransformers/setup.py, class CpuInstructInfo: 函数没有AVX的实现，在这里或者后续要做什么工作。我的观点： llama.cpp本来是支持avx的，你这里又用了大量的llama.cpp的底层代码库，为什么把Avx的支持给去了，对你们将来合并到llama.cpp也没有益处啊。你们看了视频就知道X79平台有没有价值了。

bsakaguchi

2026-10-29 14:40:53 +00:00

closed this issue
added the
stale
label

bsakaguchi commented

2026-10-29 14:40:54 +00:00

Author

Owner

@ErvinXie commented on GitHub (Dec 11, 2025):

This issue has been automatically closed due to inactivity for 60 days.

If you believe this issue is still relevant, please feel free to reopen it with additional information or context.

Thank you for your contribution to KTransformers!

此 issue 因超过 60 天无活动而被自动关闭。

如果您认为此问题仍然存在，请随时重新打开并提供更多信息或上下文。

感谢您对 KTransformers 的贡献！

@ErvinXie commented on GitHub (Dec 11, 2025): This issue has been automatically closed due to inactivity for 60 days. If you believe this issue is still relevant, please feel free to reopen it with additional information or context. Thank you for your contribution to KTransformers! --- 此 issue 因超过 60 天无活动而被自动关闭。如果您认为此问题仍然存在，请随时重新打开并提供更多信息或上下文。感谢您对 KTransformers 的贡献！