[GH-ISSUE #896] 0.2.3依旧无法跑满768G D5内存，性能上不去, numa 设置可能未生效 #645

New issue

Closed

opened 2026-10-29 14:42:19 +00:00 by bsakaguchi · 3 comments

bsakaguchi commented

2026-10-29 14:42:19 +00:00

Owner

Originally created by @KimmyGLM on GitHub (Mar 15, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/896

Originally assigned to: @chenht2022 on GitHub.

配置：
8592ES*2
768G D5
0.2.3 Ktransformer
BIOS disable SNC

(ktransformersv0.2) kimmy@kimmy-MS73-HB1-000:~$ sudo apt install libnuma-dev
正在读取软件包列表... 完成
正在分析软件包的依赖关系树... 完成
正在读取状态信息... 完成
libnuma-dev 已经是最新版 (2.0.18-1build1)。

反复重装libnuma-dev，export USE_NUMA=1的情况下，整体只能跑8-9token/s，对照跑通列表的配置，明显性能不符合预期；

(ktransformersv0.2) kimmy@kimmy-MS73-HB1-000:~$ numactl --hardware --cpu-compress
available: 2 nodes (0-1)
node 0 cpus: 0-63 (64)
node 0 size: 386644 MB
node 0 free: 165950 MB
node 1 cpus: 64-127 (64)
node 1 size: 386998 MB
node 1 free: 207710 MB
node distances:
node 0 1
0: 10 21
1: 21 10

nvidia-smi watch -n1 numastat -p pid
Node 0 Node 1 Total

Huge 0.00 0.00 0.00
Heap 76.14 969.67 1045.82
Stack 0.13 0.00 0.13
Private 214382.25 173962.04 388344.30

和之前的多个issue 类似，但是新版本的KT 依旧跑不满。
https://github.com/kvcache-ai/ktransformers/issues/634
https://github.com/kvcache-ai/ktransformers/pull/781
https://github.com/kvcache-ai/ktransformers/issues/828

能否考虑像llama.cpp 那样，带全功能的numa 设定跑benchmark?
参考案例：https://github.com/ggml-org/llama.cpp/discussions/12088%E3%80%91

Originally created by @KimmyGLM on GitHub (Mar 15, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/896 Originally assigned to: @chenht2022 on GitHub. 配置： 8592ES*2 768G D5 0.2.3 Ktransformer BIOS disable SNC (ktransformersv0.2) kimmy@kimmy-MS73-HB1-000:~$ sudo apt install libnuma-dev 正在读取软件包列表... 完成正在分析软件包的依赖关系树... 完成正在读取状态信息... 完成 libnuma-dev 已经是最新版 (2.0.18-1build1)。 **反复重装libnuma-dev，export USE_NUMA=1的情况下，整体只能跑8-9token/s，对照跑通列表的配置，明显性能不符合预期；** (ktransformersv0.2) kimmy@kimmy-MS73-HB1-000:~$ numactl --hardware --cpu-compress available: 2 nodes (0-1) node 0 cpus: 0-63 (64) node 0 size: 386644 MB node 0 free: 165950 MB node 1 cpus: 64-127 (64) node 1 size: 386998 MB node 1 free: 207710 MB node distances: node 0 1 0: 10 21 1: 21 10 nvidia-smi watch -n1 numastat -p pid Node 0 Node 1 Total --------------- --------------- --------------- Huge 0.00 0.00 0.00 Heap 76.14 969.67 1045.82 Stack 0.13 0.00 0.13 Private 214382.25 173962.04 388344.30 和之前的多个issue 类似，但是新版本的KT 依旧跑不满。 https://github.com/kvcache-ai/ktransformers/issues/634 https://github.com/kvcache-ai/ktransformers/pull/781 https://github.com/kvcache-ai/ktransformers/issues/828 能否考虑像llama.cpp 那样，带全功能的numa 设定跑benchmark? 参考案例：https://github.com/ggml-org/llama.cpp/discussions/12088%E3%80%91

bsakaguchi closed this issue

2026-10-29 14:42:19 +00:00

bsakaguchi commented

2026-10-29 14:42:19 +00:00

Author

Owner

@Atream commented on GitHub (Mar 15, 2025):

感谢反馈，我们会尽快尝试复现并解决此问题。
一些可能的检查：export USE_NUMA=1需要在编译前设置，同时编译前建议删除之前编译的结果以防cache导致没能成功重新编译。

@Atream commented on GitHub (Mar 15, 2025): 感谢反馈，我们会尽快尝试复现并解决此问题。一些可能的检查：export USE_NUMA=1需要在编译前设置，同时编译前建议删除之前编译的结果以防cache导致没能成功重新编译。

bsakaguchi commented

2026-10-29 14:42:20 +00:00

Author

Owner

@KimmyGLM commented on GitHub (Mar 15, 2025):

感谢反馈，我们会尽快尝试复现并解决此问题。一些可能的检查：export USE_NUMA=1需要在编译前设置，同时编译前建议删除之前编译的结果以防cache导致没能成功重新编译。

已成功用满内存，就是删除KT 再编译一遍就成功了，但是B站官方安装视频并没有提到这点。

@KimmyGLM commented on GitHub (Mar 15, 2025): > 感谢反馈，我们会尽快尝试复现并解决此问题。一些可能的检查：export USE_NUMA=1需要在编译前设置，同时编译前建议删除之前编译的结果以防cache导致没能成功重新编译。已成功用满内存，就是删除KT 再编译一遍就成功了，但是B站官方安装视频并没有提到这点。

bsakaguchi commented

2026-10-29 14:42:20 +00:00

Author

Owner

@Atream commented on GitHub (Mar 15, 2025):

好的，感谢反馈

@Atream commented on GitHub (Mar 15, 2025): 好的，感谢反馈

bsakaguchi referenced this issue

2026-10-29 14:52:29 +00:00

[PR #645] [MERGED] Ensure backward compatibility with PyTorch 2.2 #1444