[GH-ISSUE #705] 有没有大佬测试过DeepSeek-R1-BF16这个模型的？ #515

New issue

Closed

opened 2026-10-29 14:40:43 +00:00 by bsakaguchi · 2 comments

bsakaguchi commented

2026-10-29 14:40:43 +00:00

Owner

Originally created by @yimisiyang on GitHub (Feb 27, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/705

我使用 unsloth量化的 DeepSeek-R1-BF16 这个模型时，模型加载速度很慢，整个模型加载完预估在1小时以上，不知道是什么原因，Q4量化就没这个问题。有大佬运行成功BF16模型的吗？是不是需要改什么参数？
我的BF16模型，双槽运行命令如下：

ktransformers --model_path /data/model/DeepSeek-R1 --gguf_path /data/gguf_model/models--unsloth--DeepSeek-R1-GGUF/snapshots/02bcc0a0f68146dae57942804d82bdf0cc636003/DeepSeek-R1-BF16 --optimize_config_path /data/ktransformers/ktransformers/optimize/optimize_rules/DeepSeek-R1-Chat.yaml --cpu_infer 65 --max_new_tokens 5000 --host 172.17.110.105 --web True --port 9016 --force_think

Originally created by @yimisiyang on GitHub (Feb 27, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/705 我使用 unsloth量化的 [DeepSeek-R1-BF16](https://hf-mirror.com/unsloth/DeepSeek-R1-GGUF/tree/main/DeepSeek-R1-BF16) 这个模型时，模型加载速度很慢，整个模型加载完预估在1小时以上，不知道是什么原因，Q4量化就没这个问题。有大佬运行成功BF16模型的吗？是不是需要改什么参数？我的BF16模型，双槽运行命令如下： ```shell ktransformers --model_path /data/model/DeepSeek-R1 --gguf_path /data/gguf_model/models--unsloth--DeepSeek-R1-GGUF/snapshots/02bcc0a0f68146dae57942804d82bdf0cc636003/DeepSeek-R1-BF16 --optimize_config_path /data/ktransformers/ktransformers/optimize/optimize_rules/DeepSeek-R1-Chat.yaml --cpu_infer 65 --max_new_tokens 5000 --host 172.17.110.105 --web True --port 9016 --force_think ```

bsakaguchi closed this issue

2026-10-29 14:40:43 +00:00

bsakaguchi commented

2026-10-29 14:40:44 +00:00

Author

Owner

@Azure-Tang commented on GitHub (Feb 27, 2025):

bf16比q4大了大概三倍多，快四倍的样子，卡在磁盘读写的话慢这么多也很正常

@Azure-Tang commented on GitHub (Feb 27, 2025): bf16比q4大了大概三倍多，快四倍的样子，卡在磁盘读写的话慢这么多也很正常

bsakaguchi commented

2026-10-29 14:40:44 +00:00

Author

Owner

@hlj1205 commented on GitHub (Mar 10, 2025):

我使用 unsloth量化的 DeepSeek-R1-BF16 这个模型时，模型加载速度很慢，整个模型加载完预估在1小时以上，不知道是什么原因，Q4量化就没这个问题。有大佬运行成功BF16模型的吗？是不是需要改什么参数？我的BF16模型，双槽运行命令如下：

ktransformers --model_path /data/model/DeepSeek-R1 --gguf_path /data/gguf_model/models--unsloth--DeepSeek-R1-GGUF/snapshots/02bcc0a0f68146dae57942804d82bdf0cc636003/DeepSeek-R1-BF16 --optimize_config_path /data/ktransformers/ktransformers/optimize/optimize_rules/DeepSeek-R1-Chat.yaml --cpu_infer 65 --max_new_tokens 5000 --host 172.17.110.105 --web True --port 9016 --force_think

大佬，请问你跑通了DeepSeek-R1-BF16不？

@hlj1205 commented on GitHub (Mar 10, 2025): > 我使用 unsloth量化的 [DeepSeek-R1-BF16](https://hf-mirror.com/unsloth/DeepSeek-R1-GGUF/tree/main/DeepSeek-R1-BF16) 这个模型时，模型加载速度很慢，整个模型加载完预估在1小时以上，不知道是什么原因，Q4量化就没这个问题。有大佬运行成功BF16模型的吗？是不是需要改什么参数？我的BF16模型，双槽运行命令如下： > > ktransformers --model_path /data/model/DeepSeek-R1 --gguf_path /data/gguf_model/models--unsloth--DeepSeek-R1-GGUF/snapshots/02bcc0a0f68146dae57942804d82bdf0cc636003/DeepSeek-R1-BF16 --optimize_config_path /data/ktransformers/ktransformers/optimize/optimize_rules/DeepSeek-R1-Chat.yaml --cpu_infer 65 --max_new_tokens 5000 --host 172.17.110.105 --web True --port 9016 --force_think 大佬，请问你跑通了DeepSeek-R1-BF16不？

bsakaguchi referenced this issue

2026-10-29 14:43:12 +00:00

[GH-ISSUE #1000] [Bug] ktransformers启动web服务为什么同网络下其他设备无法访问 #708