kvcache-ai/ktransformers
1
0
Fork 0
mirror of https://github.com/kvcache-ai/ktransformers.git synced 2026-11-05 01:07:28 +00:00
Code Issues 469 Projects Packages Wiki Activity

[GH-ISSUE #509] 在单张A100复现成功，但是gguf权重加载非常缓慢，有人遇到吗？ #364

New issue
Closed
opened 2026-10-29 14:38:32 +00:00 by bsakaguchi · 10 comments
bsakaguchi commented 2026-10-29 14:38:32 +00:00
Owner
Copy link

Originally created by @jerryrual on GitHub (Feb 19, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/509

attention一层加载大约要花10S

Originally created by @jerryrual on GitHub (Feb 19, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/509 attention一层加载大约要花10S
bsakaguchi commented 2026-10-29 14:38:33 +00:00
Author
Owner
Copy link

@3wweiweiwu commented on GitHub (Feb 19, 2025):

我也遇到同样的问题，我的环境是在云上，2XA10，第一次读取要一个小时，之后只要不重启，就快很多，只要2分钟。但是我在用ollama的时候也有类似问题，所以不确定是不是运营商那的限制。

<!-- gh-comment-id:2668711559 --> @3wweiweiwu commented on GitHub (Feb 19, 2025): 我也遇到同样的问题，我的环境是在云上，2XA10，第一次读取要一个小时，之后只要不重启，就快很多，只要2分钟。但是我在用ollama的时候也有类似问题，所以不确定是不是运营商那的限制。
bsakaguchi commented 2026-10-29 14:38:33 +00:00
Author
Owner
Copy link

@edisonchan commented on GitHub (Feb 20, 2025):

检查一下是不是每次都重新下载模型。。

<!-- gh-comment-id:2670178401 --> @edisonchan commented on GitHub (Feb 20, 2025): 检查一下是不是每次都重新下载模型。。
bsakaguchi commented 2026-10-29 14:38:33 +00:00
Author
Owner
Copy link

@codedoves commented on GitHub (Feb 20, 2025):

我也有同样的问题，r1Q3的模型加载完需要30min

<!-- gh-comment-id:2670184445 --> @codedoves commented on GitHub (Feb 20, 2025): 我也有同样的问题，r1Q3的模型加载完需要30min
bsakaguchi commented 2026-10-29 14:38:33 +00:00
Author
Owner
Copy link

@3wweiweiwu commented on GitHub (Feb 20, 2025):

检查一下是不是每次都重新下载模型。。

应该不是重新下载模型，我的gguf都是本地的，而且是在是读gpu的时候特别慢。而且就算是下载模型，一个小时也不够吧。

<!-- gh-comment-id:2670231316 --> @3wweiweiwu commented on GitHub (Feb 20, 2025): > 检查一下是不是每次都重新下载模型。。 应该不是重新下载模型，我的gguf都是本地的，而且是在是读gpu的时候特别慢。而且就算是下载模型，一个小时也不够吧。
bsakaguchi commented 2026-10-29 14:38:34 +00:00
Author
Owner
Copy link

@johnray22 commented on GitHub (Feb 20, 2025):

模型要从硬盘加载到内存中，如果是SSD就快一些，一般2000M/S。机械盘就慢了，拉满也就200M

<!-- gh-comment-id:2670295866 --> @johnray22 commented on GitHub (Feb 20, 2025): 模型要从硬盘加载到内存中，如果是SSD就快一些，一般2000M/S。机械盘就慢了，拉满也就200M
bsakaguchi commented 2026-10-29 14:38:34 +00:00
Author
Owner
Copy link

@johnray22 commented on GitHub (Feb 20, 2025):

可以设置某个参数将模型常驻内存

<!-- gh-comment-id:2670296132 --> @johnray22 commented on GitHub (Feb 20, 2025): 可以设置某个参数将模型常驻内存
bsakaguchi commented 2026-10-29 14:38:34 +00:00
Author
Owner
Copy link

@jzw02 commented on GitHub (Feb 20, 2025):

我也遇到了这样的情况，load blk非常慢，并且chat的时候也很慢

<!-- gh-comment-id:2670301127 --> @jzw02 commented on GitHub (Feb 20, 2025): 我也遇到了这样的情况，load blk非常慢，并且chat的时候也很慢
bsakaguchi commented 2026-10-29 14:38:34 +00:00
Author
Owner
Copy link

@codedoves commented on GitHub (Feb 20, 2025):

**你用的是sdd还是机械硬盘？我也是单张A100，使用机械也是很慢，后来换成ssd会好很多

<!-- gh-comment-id:2670332722 --> @codedoves commented on GitHub (Feb 20, 2025): **你用的是sdd还是机械硬盘？我也是单张A100，使用机械也是很慢，后来换成ssd会好很多
bsakaguchi commented 2026-10-29 14:38:34 +00:00
Author
Owner
Copy link

@neichuanzhang commented on GitHub (Feb 20, 2025):

用htop看一下加载模型的进程，如果进程是D状态，看下iostat -x 1看看是不是磁盘的iowait太高了。

如果是一般是磁盘的性能问题

<!-- gh-comment-id:2670370789 --> @neichuanzhang commented on GitHub (Feb 20, 2025): 用htop看一下加载模型的进程，如果进程是D状态，看下iostat -x 1看看是不是磁盘的iowait太高了。 如果是一般是磁盘的性能问题
bsakaguchi commented 2026-10-29 14:38:34 +00:00
Author
Owner
Copy link

@Wilbur0626 commented on GitHub (Feb 20, 2025):

我这里是磁盘的问题，需要把其他读写操作关掉

<!-- gh-comment-id:2670396018 --> @Wilbur0626 commented on GitHub (Feb 20, 2025): 我这里是磁盘的问题，需要把其他读写操作关掉
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
main
auto/sync-sglang
gh-pages
docs/kt-ft-figure2-single-column-20261010
perf/bf16-grad-norm-20261010
docs/kt-ft-paper-20261008
release/20260911-carrier-repair
release/20260911-ci-python
release/20260911-pypi
ci/four-main-pypi-release
ci/model-e2e-acceptance
release/0.7.0.post3-frozen-pypi
fix/glm53-index-share-sync
release/0.7.0.post2-frozen-pypi
hotfix/0.7.0.post2-pypi-runtime
fix/avx2-wheel-feature-isolation
fix/release-self-hosted-runner
release/automate-kt-sft-pypi
support-glm5-next-djw
docs/deepseek-v4-flash-docker
ovowei-patch-3
support-glm52-djw
doc-reorg-entrypoints-support-matrix
bump-sglang-pr31
docs-v061-refresh
fp4-moe-amx
flatten-ktransformers-shim
archive-kt-sft
kt-kernel-torch-range-v061
sft-whl
sft
docs/gosim-2026-and-roadmap-link
ovowei-patch-2
ovowei-patch-1
revert-1918-fix/rocm-cpuinfer-stream-bridge
chore/kt-layerwise-prefill-main
chore/kt-layerwise-prefill-label
sft-rel
support-glm51-djw
release/v0.5.3
chore/kt-run-numa-nodes-unified
mtp
ksft-sglang
avx2
fix/sglang-kt-detection
layerwise-prefill-opt
feat/mistral-loader-support
fix-docker-build
minimax-m2.5
qwen3.5
add-maintainers
oql-doc
cli-dev-ljq
ljq-cli-dev-new
JimmyPeilinLi-patch-2
kimi_k2.5
oql-dev
experts_sched
JimmyPeilinLi-patch-1
ErvinXie-patch-1
ksft-llama
glm47_fp8
debug_llama
refactor_sft
ljq-cli-dev
refactor_sft_int4_debug
lut-nvfp4
fix-import
fix-deploy-djw
cpu-fix
ljq-dev-1
route-moe
sosp25-ae
v0.7.2
paper-ktft-v1.1
paper-ktft-v1
v0.7.1
v0.7.0.post4
v0.7.0.post1
v0.7.0
v0.6.4
v0.6.3.post1
v0.6.3
v0.6.2.post3
v0.6.2.post2
v0.6.2.post1
v0.6.2
v0.6.1
v0.6.1.post1
v0.5.3
v0.5.2.post1
v0.5.1
v0.5.0.post1
v0.5.0
v0.4.4
v0.4.3
v0.4.2
v0.4.1
v0.3.2
v0.3.1
v0.3
v0.2.4post1
v0.2.4
v0.2.3post2
v0.2.3post1
v0.2.3
v0.2.2
v0.2.2rc2
v0.2.2rc1
v0.2.1.post1
v0.2.1
v0.2.0
v0.1.4
v0.1.3
v0.1.2
v0.1.1
v0.1.0
Labels
Clear labels   
bug

   
duplicate

   
enhancement

   
good first issue

   
help wanted

   
pull-request
Mirrored from GitHub Pull Request

  
stale
No labels
bug
duplicate
enhancement
good first issue
help wanted
pull-request
stale
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
kvcache-ai/ktransformers#364
No description provided.