kvcache-ai/ktransformers
1
0
Fork 0
mirror of https://github.com/kvcache-ai/ktransformers.git synced 2026-11-05 01:07:28 +00:00
Code Issues 469 Projects Packages Wiki Activity

[GH-ISSUE #370] windows下加载R1-Q2KM和Q3KM后,推理出现相同错误提示，求解！ #246

New issue
Closed
opened 2026-10-29 14:36:28 +00:00 by bsakaguchi · 12 comments
bsakaguchi commented 2026-10-29 14:36:28 +00:00
Owner
Copy link

Originally created by @newstargo on GitHub (Feb 16, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/370

显卡4090D+256GB内存，问题请见附图：

Image

Image

环境：

Image

版本：

Image

特别说明：
1、UD-Q2K_XL和Q2KM加载后，内存占用仅20GB，显卡占用13GB, 权重感觉没有完全加载进内存。
2、QWEN2-57B推理是正常的。

Originally created by @newstargo on GitHub (Feb 16, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/370 显卡4090D+256GB内存，问题请见附图： ![Image](https://github.com/user-attachments/assets/1d11a9a4-a566-4af1-8c25-b37d3b767ae8) ![Image](https://github.com/user-attachments/assets/0edd94ac-fde2-4a07-9c4d-bb8e42c6a01d) 环境： ![Image](https://github.com/user-attachments/assets/4074f296-e658-402a-a47d-75a8bb9c8d04) 版本： ![Image](https://github.com/user-attachments/assets/bba53f77-b3f3-4e92-a755-a23c6d2d10c2) 特别说明： 1、UD-Q2K_XL和Q2KM加载后，内存占用仅20GB，显卡占用13GB, 权重感觉没有完全加载进内存。 2、QWEN2-57B推理是正常的。
bsakaguchi 2026-10-29 14:36:28 +00:00
  • closed this issue
  • added the
    stale
         label
bsakaguchi commented 2026-10-29 14:36:30 +00:00
Author
Owner
Copy link

@shijd32 commented on GitHub (Feb 16, 2025):

请问你是用源码安装的吗？还是python 下用 WHL文件安装的？

<!-- gh-comment-id:2661415207 --> @shijd32 commented on GitHub (Feb 16, 2025): 请问你是用源码安装的吗？还是python 下用 WHL文件安装的？
bsakaguchi commented 2026-10-29 14:36:30 +00:00
Author
Owner
Copy link

@Azure-Tang commented on GitHub (Feb 16, 2025):

有没有确认文件的hash值是正常的没有在下载过程中损坏

<!-- gh-comment-id:2661416899 --> @Azure-Tang commented on GitHub (Feb 16, 2025): 有没有确认文件的hash值是正常的没有在下载过程中损坏
bsakaguchi commented 2026-10-29 14:36:30 +00:00
Author
Owner
Copy link

@newstargo commented on GitHub (Feb 16, 2025):

请问你是用源码安装的吗？还是python 下用 WHL文件安装的？

源码编译的，上面的图是在刚重新GIT PULL后编译了，再运行一样的结果

<!-- gh-comment-id:2661418608 --> @newstargo commented on GitHub (Feb 16, 2025): > 请问你是用源码安装的吗？还是python 下用 WHL文件安装的？ 源码编译的，上面的图是在刚重新GIT PULL后编译了，再运行一样的结果
bsakaguchi commented 2026-10-29 14:36:30 +00:00
Author
Owner
Copy link

@Azure-Tang commented on GitHub (Feb 16, 2025):

有没有确认文件的hash值是正常的没有在下载过程中损坏

麻烦确认一下这个，因为我看到很多人都跑起来了这个格式

<!-- gh-comment-id:2661433634 --> @Azure-Tang commented on GitHub (Feb 16, 2025): > 有没有确认文件的hash值是正常的没有在下载过程中损坏 麻烦确认一下这个，因为我看到很多人都跑起来了这个格式
bsakaguchi commented 2026-10-29 14:36:30 +00:00
Author
Owner
Copy link

@newstargo commented on GitHub (Feb 16, 2025):

有没有确认文件的hash值是正常的没有在下载过程中损坏

麻烦确认一下这个，因为我看到很多人都跑起来了这个格式
7个权重文件是完整的，Q2的3个模型和Q3共4个模型都是一样的提示，应和下载没关系。是以python -m ktransformers.local_chat --model_path deepseek-ai/DeepSeek-R1 --gguf_path /DeepSeek-R1-Q3_K_M 启动，应是这样吧。
Image

<!-- gh-comment-id:2661451245 --> @newstargo commented on GitHub (Feb 16, 2025): > > 有没有确认文件的hash值是正常的没有在下载过程中损坏 > > 麻烦确认一下这个，因为我看到很多人都跑起来了这个格式 7个权重文件是完整的，Q2的3个模型和Q3共4个模型都是一样的提示，应和下载没关系。是以python -m ktransformers.local_chat --model_path deepseek-ai/DeepSeek-R1 --gguf_path /DeepSeek-R1-Q3_K_M 启动，应是这样吧。 ![Image](https://github.com/user-attachments/assets/dedc4843-f573-4b52-9909-11eb44a06844)
bsakaguchi commented 2026-10-29 14:36:31 +00:00
Author
Owner
Copy link

@newstargo commented on GitHub (Feb 16, 2025):

有没有确认文件的hash值是正常的没有在下载过程中损坏

麻烦确认一下这个，因为我看到很多人都跑起来了这个格式
torch2.6+cuda12.6是否支持的

Image

<!-- gh-comment-id:2661453178 --> @newstargo commented on GitHub (Feb 16, 2025): > > 有没有确认文件的hash值是正常的没有在下载过程中损坏 > > 麻烦确认一下这个，因为我看到很多人都跑起来了这个格式 torch2.6+cuda12.6是否支持的 ![Image](https://github.com/user-attachments/assets/04567fa1-a994-4581-8eed-c24a70357513)
bsakaguchi commented 2026-10-29 14:36:31 +00:00
Author
Owner
Copy link

@Azure-Tang commented on GitHub (Feb 16, 2025):

有没有确认文件的hash值是正常的没有在下载过程中损坏

麻烦确认一下这个，因为我看到很多人都跑起来了这个格式
7个权重文件是完整的，Q2的3个模型和Q3共4个模型都是一样的提示，应和下载没关系。是以python -m ktransformers.local_chat --model_path deepseek-ai/DeepSeek-R1 --gguf_path /DeepSeek-R1-Q3_K_M 启动，应是这样吧。
Image

001和002的文件也贴一下，你好像没有截全

<!-- gh-comment-id:2661471520 --> @Azure-Tang commented on GitHub (Feb 16, 2025): > > > 有没有确认文件的hash值是正常的没有在下载过程中损坏 > > > > > > 麻烦确认一下这个，因为我看到很多人都跑起来了这个格式 > > 7个权重文件是完整的，Q2的3个模型和Q3共4个模型都是一样的提示，应和下载没关系。是以python -m ktransformers.local_chat --model_path deepseek-ai/DeepSeek-R1 --gguf_path /DeepSeek-R1-Q3_K_M 启动，应是这样吧。 > > ![Image](https://github.com/user-attachments/assets/dedc4843-f573-4b52-9909-11eb44a06844) 001和002的文件也贴一下，你好像没有截全
bsakaguchi commented 2026-10-29 14:36:31 +00:00
Author
Owner
Copy link

@newstargo commented on GitHub (Feb 16, 2025):

有没有确认文件的hash值是正常的没有在下载过程中损坏

麻烦确认一下这个，因为我看到很多人都跑起来了这个格式
7个权重文件是完整的，Q2的3个模型和Q3共4个模型都是一样的提示，应和下载没关系。是以python -m ktransformers.local_chat --model_path deepseek-ai/DeepSeek-R1 --gguf_path /DeepSeek-R1-Q3_K_M 启动，应是这样吧。
Image

001和002的文件也贴一下，你好像没有截全

我和HF都对过了，哈希值无误。原窗口关了，一会再补个图吧。

<!-- gh-comment-id:2661480589 --> @newstargo commented on GitHub (Feb 16, 2025): > > > > 有没有确认文件的hash值是正常的没有在下载过程中损坏 > > > > > > > > > 麻烦确认一下这个，因为我看到很多人都跑起来了这个格式 > > > 7个权重文件是完整的，Q2的3个模型和Q3共4个模型都是一样的提示，应和下载没关系。是以python -m ktransformers.local_chat --model_path deepseek-ai/DeepSeek-R1 --gguf_path /DeepSeek-R1-Q3_K_M 启动，应是这样吧。 > > > ![Image](https://github.com/user-attachments/assets/dedc4843-f573-4b52-9909-11eb44a06844) > > 001和002的文件也贴一下，你好像没有截全 我和HF都对过了，哈希值无误。原窗口关了，一会再补个图吧。
bsakaguchi commented 2026-10-29 14:36:31 +00:00
Author
Owner
Copy link

@newstargo commented on GitHub (Feb 16, 2025):

有没有确认文件的hash值是正常的没有在下载过程中损坏

麻烦确认一下这个，因为我看到很多人都跑起来了这个格式
7个权重文件是完整的，Q2的3个模型和Q3共4个模型都是一样的提示，应和下载没关系。是以python -m ktransformers.local_chat --model_path deepseek-ai/DeepSeek-R1 --gguf_path /DeepSeek-R1-Q3_K_M 启动，应是这样吧。
Image

001和002的文件也贴一下，你好像没有截全

Image

<!-- gh-comment-id:2661491330 --> @newstargo commented on GitHub (Feb 16, 2025): > > > > 有没有确认文件的hash值是正常的没有在下载过程中损坏 > > > > > > > > > 麻烦确认一下这个，因为我看到很多人都跑起来了这个格式 > > > 7个权重文件是完整的，Q2的3个模型和Q3共4个模型都是一样的提示，应和下载没关系。是以python -m ktransformers.local_chat --model_path deepseek-ai/DeepSeek-R1 --gguf_path /DeepSeek-R1-Q3_K_M 启动，应是这样吧。 > > > ![Image](https://github.com/user-attachments/assets/dedc4843-f573-4b52-9909-11eb44a06844) > > 001和002的文件也贴一下，你好像没有截全 ![Image](https://github.com/user-attachments/assets/fddebd38-4b17-4660-a094-ba8e3ee312a3)
bsakaguchi commented 2026-10-29 14:36:31 +00:00
Author
Owner
Copy link

@xialang2012 commented on GitHub (Feb 17, 2025):

同样有类似问题，hash值所有下载的文件都检查了，和网站上一致。

<!-- gh-comment-id:2661884375 --> @xialang2012 commented on GitHub (Feb 17, 2025): 同样有类似问题，hash值所有下载的文件都检查了，和网站上一致。
bsakaguchi commented 2026-10-29 14:36:32 +00:00
Author
Owner
Copy link

@newstargo commented on GitHub (Feb 17, 2025):

刚测试V2.5Q4是可以的，只是V3和R1的Q不行，等迭代吧

<!-- gh-comment-id:2662280055 --> @newstargo commented on GitHub (Feb 17, 2025): 刚测试V2.5Q4是可以的，只是V3和R1的Q不行，等迭代吧
bsakaguchi commented 2026-10-29 14:36:32 +00:00
Author
Owner
Copy link

@ErvinXie commented on GitHub (Dec 11, 2025):

This issue has been automatically closed due to inactivity for 60 days.

If you believe this issue is still relevant, please feel free to reopen it with additional information or context.

Thank you for your contribution to KTransformers!

此 issue 因超过 60 天无活动而被自动关闭。

如果您认为此问题仍然存在，请随时重新打开并提供更多信息或上下文。

感谢您对 KTransformers 的贡献！

<!-- gh-comment-id:3639893500 --> @ErvinXie commented on GitHub (Dec 11, 2025): This issue has been automatically closed due to inactivity for 60 days. If you believe this issue is still relevant, please feel free to reopen it with additional information or context. Thank you for your contribution to KTransformers! --- 此 issue 因超过 60 天无活动而被自动关闭。 如果您认为此问题仍然存在，请随时重新打开并提供更多信息或上下文。 感谢您对 KTransformers 的贡献！
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
main
auto/sync-sglang
gh-pages
docs/kt-ft-figure2-single-column-20261010
perf/bf16-grad-norm-20261010
docs/kt-ft-paper-20261008
release/20260911-carrier-repair
release/20260911-ci-python
release/20260911-pypi
ci/four-main-pypi-release
ci/model-e2e-acceptance
release/0.7.0.post3-frozen-pypi
fix/glm53-index-share-sync
release/0.7.0.post2-frozen-pypi
hotfix/0.7.0.post2-pypi-runtime
fix/avx2-wheel-feature-isolation
fix/release-self-hosted-runner
release/automate-kt-sft-pypi
support-glm5-next-djw
docs/deepseek-v4-flash-docker
ovowei-patch-3
support-glm52-djw
doc-reorg-entrypoints-support-matrix
bump-sglang-pr31
docs-v061-refresh
fp4-moe-amx
flatten-ktransformers-shim
archive-kt-sft
kt-kernel-torch-range-v061
sft-whl
sft
docs/gosim-2026-and-roadmap-link
ovowei-patch-2
ovowei-patch-1
revert-1918-fix/rocm-cpuinfer-stream-bridge
chore/kt-layerwise-prefill-main
chore/kt-layerwise-prefill-label
sft-rel
support-glm51-djw
release/v0.5.3
chore/kt-run-numa-nodes-unified
mtp
ksft-sglang
avx2
fix/sglang-kt-detection
layerwise-prefill-opt
feat/mistral-loader-support
fix-docker-build
minimax-m2.5
qwen3.5
add-maintainers
oql-doc
cli-dev-ljq
ljq-cli-dev-new
JimmyPeilinLi-patch-2
kimi_k2.5
oql-dev
experts_sched
JimmyPeilinLi-patch-1
ErvinXie-patch-1
ksft-llama
glm47_fp8
debug_llama
refactor_sft
ljq-cli-dev
refactor_sft_int4_debug
lut-nvfp4
fix-import
fix-deploy-djw
cpu-fix
ljq-dev-1
route-moe
sosp25-ae
v0.7.2
paper-ktft-v1.1
paper-ktft-v1
v0.7.1
v0.7.0.post4
v0.7.0.post1
v0.7.0
v0.6.4
v0.6.3.post1
v0.6.3
v0.6.2.post3
v0.6.2.post2
v0.6.2.post1
v0.6.2
v0.6.1
v0.6.1.post1
v0.5.3
v0.5.2.post1
v0.5.1
v0.5.0.post1
v0.5.0
v0.4.4
v0.4.3
v0.4.2
v0.4.1
v0.3.2
v0.3.1
v0.3
v0.2.4post1
v0.2.4
v0.2.3post2
v0.2.3post1
v0.2.3
v0.2.2
v0.2.2rc2
v0.2.2rc1
v0.2.1.post1
v0.2.1
v0.2.0
v0.1.4
v0.1.3
v0.1.2
v0.1.1
v0.1.0
Labels
Clear labels   
bug

   
duplicate

   
enhancement

   
good first issue

   
help wanted

   
pull-request
Mirrored from GitHub Pull Request

  
stale
No labels
bug
duplicate
enhancement
good first issue
help wanted
pull-request
stale
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
kvcache-ai/ktransformers#246
No description provided.