[GH-ISSUE #958] [Feature] deepseek-r1 671b太大了，有deepseek-v2-lite成功安装的流程吗？ #679

New issue

Open

opened 2026-10-29 14:42:48 +00:00 by bsakaguchi · 4 comments

bsakaguchi commented

2026-10-29 14:42:48 +00:00

Owner

Originally created by @blockcloud on GitHub (Mar 22, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/958

检查清单

1. 如果您提出的不是新功能而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭
2. 为方便社区交流，我将使用中文/英文或附上英文/中文翻译（如使用其他语言）。未附带翻译的非英文/中文内容可能会被关闭

需求背景

由于r1 671b太大，需要的资源太多，就尝试允许v2-lite版本，在modelscope上下载了gguf文件
DeepSeek-V2-Lite-Chat-Q4_K_M.gguf

结果运行的时候，提示缺少token_embd.weight in GGUF file!文件
File "/workspace/ktransformers/ktransformers/util/utils.py", line 78, in load_cur_state_dict raise Exception(f"can't find {translated_key} in GGUF file!") Exception: can't find token_embd.weight in GGUF file!

这个如何解决呢？

相关资源

No response

Originally created by @blockcloud on GitHub (Mar 22, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/958 ### 检查清单 - [ ] 1. 如果您提出的不是新功能而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭 - [ ] 2. 为方便社区交流，我将使用中文/英文或附上英文/中文翻译（如使用其他语言）。未附带翻译的非英文/中文内容可能会被关闭 ### 需求背景由于r1 671b太大，需要的资源太多，就尝试允许v2-lite版本，在modelscope上下载了gguf文件 DeepSeek-V2-Lite-Chat-Q4_K_M.gguf 结果运行的时候，提示缺少token_embd.weight in GGUF file!文件 ` File "/workspace/ktransformers/ktransformers/util/utils.py", line 78, in load_cur_state_dict raise Exception(f"can't find {translated_key} in GGUF file!") Exception: can't find token_embd.weight in GGUF file!` 这个如何解决呢？ ### 相关资源 _No response_

bsakaguchi commented

2026-10-29 14:42:48 +00:00

Author

Owner

@tsdcz commented on GitHub (Mar 23, 2025):

可以，我就跑的这个版本，参考文档把参数文件下载全了就能运行，这是我本地5700X+1080跑的结果

@tsdcz commented on GitHub (Mar 23, 2025): 可以，我就跑的这个版本，参考文档把参数文件下载全了就能运行，这是我本地5700X+1080跑的结果 ![Image](https://github.com/user-attachments/assets/7089d56b-3ae2-43e8-bb41-a2c7ade1f0cb)

bsakaguchi commented

2026-10-29 14:42:48 +00:00

Author

Owner

@tsdcz commented on GitHub (Mar 23, 2025):

python3 local_chat.py --gguf_path /models/deepseek-v2-lite-chat.Q8_0_gguf/ --model_path /models/deepseek-v2-lite-chat_info/ --optimize_config_path /models/DeepSeek-V2-Lite-Chat.yaml --port 10002 --cpu_infer 14

我跑的是Q8，显存占用2G多，运行时GPU占用不到20%

@tsdcz commented on GitHub (Mar 23, 2025): python3 local_chat.py --gguf_path /models/deepseek-v2-lite-chat.Q8_0_gguf/ --model_path /models/deepseek-v2-lite-chat_info/ --optimize_config_path /models/DeepSeek-V2-Lite-Chat.yaml --port 10002 --cpu_infer 14 我跑的是Q8，显存占用2G多，运行时GPU占用不到20%

bsakaguchi commented

2026-10-29 14:42:48 +00:00

Author

Owner

@blockcloud commented on GitHub (Mar 24, 2025):

可以，我就跑的这个版本，参考文档把参数文件下载全了就能运行，这是我本地5700X+1080跑的结果
你好，完整的模型文件名称可以分享一下吗？我去下载部一下

@blockcloud commented on GitHub (Mar 24, 2025): > 可以，我就跑的这个版本，参考文档把参数文件下载全了就能运行，这是我本地5700X+1080跑的结果 ![Image](https://github.com/user-attachments/assets/7089d56b-3ae2-43e8-bb41-a2c7ade1f0cb) 你好，完整的模型文件名称可以分享一下吗？我去下载部一下

bsakaguchi commented

2026-10-29 14:42:48 +00:00

Author

Owner

@blockcloud commented on GitHub (Mar 24, 2025):

python3 local_chat.py --gguf_path /models/deepseek-v2-lite-chat.Q8_0_gguf/ --model_path /models/deepseek-v2-lite-chat_info/ --optimize_config_path /models/DeepSeek-V2-Lite-Chat.yaml --port 10002 --cpu_infer 14

我跑的是Q8，显存占用2G多，运行时GPU占用不到20%

你好，完整的模型文件名可以分享一下吗？我去下载部署，还有，这个模型内存占用有多少呢？

@blockcloud commented on GitHub (Mar 24, 2025): > python3 local_chat.py --gguf_path /models/deepseek-v2-lite-chat.Q8_0_gguf/ --model_path /models/deepseek-v2-lite-chat_info/ --optimize_config_path /models/DeepSeek-V2-Lite-Chat.yaml --port 10002 --cpu_infer 14 > > 我跑的是Q8，显存占用2G多，运行时GPU占用不到20% 你好，完整的模型文件名可以分享一下吗？我去下载部署，还有，这个模型内存占用有多少呢？