[GH-ISSUE #168 ] 如何加载本地已经下载好的gguf文件而不需要连到HF？什么时候可以支持R1 671B 2.22b动态量化版本？ #92

Author

Owner

@KMSorSMS commented on GitHub (Feb 12, 2025):

你是unsloth/DeepSeek-R1-GGUF上的q2吗指的是？

第二个问题，你下载到本地，通过gguf_path参数指定到本地gguf文件夹就行了

可以指定某些层到GPU，在我们的optimize 的yaml文件里面可以调整，你可以参考主页的readme的文档指引

@KMSorSMS commented on GitHub (Feb 12, 2025): > 什么时候可以支持R1 671B 2.22b动态量化版本？如何加载本地已经下载好的gguf文件而不需要连到HF？是否可以指定某些层或者多少层加载到GPU加速？你是unsloth/DeepSeek-R1-GGUF上的q2吗指的是？<br> 第二个问题，你下载到本地，通过gguf_path参数指定到本地gguf**文件夹**就行了<br> 可以指定某些层到GPU，在我们的optimize 的yaml文件里面可以调整，你可以参考主页的readme的文档指引

bsakaguchi commented

Author

Owner

@BiFangKNT commented on GitHub (Feb 12, 2025):

1.我猜是的，而且我也有这个疑问

2.请问双路6430+16*32=512g内存+3090的方案跑q4，速度理想吗？

3.我看官方v0.3案例好像跑的是fp16？可是r1本身不是在fp8精度下训练的吗？感觉fp16完全没有意义啊

@BiFangKNT commented on GitHub (Feb 12, 2025): > > 什么时候可以支持R1 671B 2.22b动态量化版本？如何加载本地已经下载好的gguf文件而不需要连到HF？是否可以指定某些层或者多少层加载到GPU加速？ > > 你是unsloth/DeepSeek-R1-GGUF上的q2吗指的是？第二个问题，你下载到本地，通过gguf_path参数指定到本地gguf**文件夹**就行了可以指定某些层到GPU，在我们的optimize 的yaml文件里面可以调整，你可以参考主页的readme的文档指引 1.我猜是的，而且我也有这个疑问 2.请问双路6430+16*32=512g内存+3090的方案跑q4，速度理想吗？ 3.我看官方v0.3案例好像跑的是fp16？可是r1本身不是在fp8精度下训练的吗？感觉fp16完全没有意义啊

bsakaguchi commented

Author

Owner

@loliorz commented on GitHub (Feb 12, 2025):

--gguf_path已经指定到了本地的gguf文件夹，运行本地gguf的模式下，--model_path该如何填写？ktransformers似乎不会跳过去hub上寻找repo的过程，如何在执行ktransformers的时候，指定代理？如果可以屏蔽--model_path参数去hub上下载config.json的过程就好了，（另unsloth并没有针对他们量化的q2写config.json）

@loliorz commented on GitHub (Feb 12, 2025): > > 什么时候可以支持R1 671B 2.22b动态量化版本？如何加载本地已经下载好的gguf文件而不需要连到HF？是否可以指定某些层或者多少层加载到GPU加速？ > > 你是unsloth/DeepSeek-R1-GGUF上的q2吗指的是？第二个问题，你下载到本地，通过gguf_path参数指定到本地gguf**文件夹**就行了可以指定某些层到GPU，在我们的optimize 的yaml文件里面可以调整，你可以参考主页的readme的文档指引 --gguf_path已经指定到了本地的gguf文件夹，运行本地gguf的模式下，--model_path该如何填写？ktransformers似乎不会跳过去hub上寻找repo的过程，如何在执行ktransformers的时候，指定代理？如果可以屏蔽--model_path参数去hub上下载config.json的过程就好了，（另unsloth并没有针对他们量化的q2写config.json）

bsakaguchi commented

Author

Owner

@BiFangKNT commented on GitHub (Feb 12, 2025):

你指定的目录是/home/lolio*****************吗？ @loliorz

@BiFangKNT commented on GitHub (Feb 12, 2025): > > > > 什么时候可以支持R1 671B 2.22b动态量化版本？如何加载本地已经下载好的gguf文件而不需要连到HF？是否可以指定某些层或者多少层加载到GPU加速？ > > > > > > > > > 你是unsloth/DeepSeek-R1-GGUF上的q2吗指的是？第二个问题，你下载到本地，通过gguf_path参数指定到本地gguf**文件夹**就行了可以指定某些层到GPU，在我们的optimize 的yaml文件里面可以调整，你可以参考主页的readme的文档指引 > > > > > > --gguf_path已经指定到了本地的gguf文件夹，运行本地gguf的模式下，--model_path该如何填写？ktransformers似乎不会跳过去hub上寻找repo的过程，如何在执行ktransformers的时候，指定代理？如果可以屏蔽--model_path参数去hub上下载config.json的过程就好了，（另unsloth并没有针对他们量化的q2写config.json） > > `--model_path`指定一个目录，则会提示：Checkout '[https://huggingface.co//home/lolio*****************（本地文件地址）](https://huggingface.co//home/lolio*****************%EF%BC%88%E6%9C%AC%E5%9C%B0%E6%96%87%E4%BB%B6%E5%9C%B0%E5%9D%80%EF%BC%89) 你指定的目录是`/home/lolio*****************`吗？ @loliorz

bsakaguchi commented

Author

Owner

@tarjintor commented on GitHub (Feb 13, 2025):

我也是下载了unsloth的q2版本，但unsloth的q2版本没有config.json这些，我目前直接把原deepseek的config.json,modeling_deepseek.py这些代码无脑复制到了工作目录下，然后报错
这个做法是不对吧？但没有config.json也报错
我的执行命令是

python3 -m ktransformers.local_chat --model_path /home/xxx/workshop/ds_study \
--gguf_path /home/xxx/workshop/ds_study/DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ2_XXS/DeepSeek-R1-UD-IQ2_XXS-00001-of-00004.gguf --cpu_infer 20 --max_new_tokens 1024

目录格式如下

报错是

using custom modeling_xxx.py.
using default_optimize_rule for DeepseekV3ForCausalLM
Injecting model as ktransformers.operators.models . KDeepseekV2Model
Injecting model.embed_tokens as default
Injecting model.layers as default
Injecting model.layers.0 as default
Injecting model.layers.0.self_attn as ktransformers.operators.attention . KDeepseekV2Attention
Injecting model.layers.0.self_attn.q_a_proj as ktransformers.operators.linear . KTransformersLinear
Traceback (most recent call last):
  File "/usr/lib/python3.10/runpy.py", line 196, in _run_module_as_main
    return _run_code(code, main_globals, None,
  File "/usr/lib/python3.10/runpy.py", line 86, in _run_code
    exec(code, run_globals)
  File "/home/tarjintor/ktransformers/ktransformers/local_chat.py", line 179, in <module>
    fire.Fire(local_chat)
  File "/home/tarjintor/.local/lib/python3.10/site-packages/fire/core.py", line 135, in Fire
    component_trace = _Fire(component, args, parsed_flag_args, context, name)
  File "/home/tarjintor/.local/lib/python3.10/site-packages/fire/core.py", line 468, in _Fire
    component, remaining_args = _CallAndUpdateTrace(
  File "/home/tarjintor/.local/lib/python3.10/site-packages/fire/core.py", line 684, in _CallAndUpdateTrace
    component = fn(*varargs, **kwargs)
  File "/home/tarjintor/ktransformers/ktransformers/local_chat.py", line 110, in local_chat
    optimize_and_load_gguf(model, optimize_rule_path, gguf_path, config)
  File "/home/tarjintor/ktransformers/ktransformers/optimize/optimize.py", line 128, in optimize_and_load_gguf
    inject(module, optimize_config, model_config, gguf_loader)
  File "/home/tarjintor/ktransformers/ktransformers/optimize/optimize.py", line 42, in inject
    inject(child, child_optimization_dict, model_config, gguf_loader, child_prefix)
  File "/home/tarjintor/ktransformers/ktransformers/optimize/optimize.py", line 42, in inject
    inject(child, child_optimization_dict, model_config, gguf_loader, child_prefix)
  File "/home/tarjintor/ktransformers/ktransformers/optimize/optimize.py", line 42, in inject
    inject(child, child_optimization_dict, model_config, gguf_loader, child_prefix)
  [Previous line repeated 1 more time]
  File "/home/tarjintor/ktransformers/ktransformers/optimize/optimize.py", line 33, in inject
    inject_module=module_cls(key = inject_module_meta["key"], gguf_loader = gguf_loader, config = model_config, orig_module=child, **inject_module_meta["kwargs"])
  File "/home/tarjintor/ktransformers/ktransformers/operators/linear.py", line 378, in __init__
    KLinearBase.__init__(self, key, gguf_loader, config, orig_module, generate_device, **kwargs)
  File "/home/tarjintor/ktransformers/ktransformers/operators/linear.py", line 61, in __init__
    shape = self.gguf_loader.tensor_info[key + ".weight"]["shape"]
KeyError: 'blk.0.attn_q_a.weight'

@tarjintor commented on GitHub (Feb 13, 2025): > > 什么时候可以支持R1 671B 2.22b动态量化版本？如何加载本地已经下载好的gguf文件而不需要连到HF？是否可以指定某些层或者多少层加载到GPU加速？ > > 你是unsloth/DeepSeek-R1-GGUF上的q2吗指的是？第二个问题，你下载到本地，通过gguf_path参数指定到本地gguf**文件夹**就行了可以指定某些层到GPU，在我们的optimize 的yaml文件里面可以调整，你可以参考主页的readme的文档指引我也是下载了unsloth的q2版本，但unsloth的q2版本没有config.json这些，我目前直接把原deepseek的config.json,modeling_deepseek.py这些代码无脑复制到了工作目录下，然后报错这个做法是不对吧？但没有config.json也报错我的执行命令是 ``` python3 -m ktransformers.local_chat --model_path /home/xxx/workshop/ds_study \ --gguf_path /home/xxx/workshop/ds_study/DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ2_XXS/DeepSeek-R1-UD-IQ2_XXS-00001-of-00004.gguf --cpu_infer 20 --max_new_tokens 1024 ``` 目录格式如下 ![Image](https://github.com/user-attachments/assets/720a1fa5-800d-47af-a0eb-c27e944fafa3) 报错是 ``` using custom modeling_xxx.py. using default_optimize_rule for DeepseekV3ForCausalLM Injecting model as ktransformers.operators.models . KDeepseekV2Model Injecting model.embed_tokens as default Injecting model.layers as default Injecting model.layers.0 as default Injecting model.layers.0.self_attn as ktransformers.operators.attention . KDeepseekV2Attention Injecting model.layers.0.self_attn.q_a_proj as ktransformers.operators.linear . KTransformersLinear Traceback (most recent call last): File "/usr/lib/python3.10/runpy.py", line 196, in _run_module_as_main return _run_code(code, main_globals, None, File "/usr/lib/python3.10/runpy.py", line 86, in _run_code exec(code, run_globals) File "/home/tarjintor/ktransformers/ktransformers/local_chat.py", line 179, in <module> fire.Fire(local_chat) File "/home/tarjintor/.local/lib/python3.10/site-packages/fire/core.py", line 135, in Fire component_trace = _Fire(component, args, parsed_flag_args, context, name) File "/home/tarjintor/.local/lib/python3.10/site-packages/fire/core.py", line 468, in _Fire component, remaining_args = _CallAndUpdateTrace( File "/home/tarjintor/.local/lib/python3.10/site-packages/fire/core.py", line 684, in _CallAndUpdateTrace component = fn(*varargs, **kwargs) File "/home/tarjintor/ktransformers/ktransformers/local_chat.py", line 110, in local_chat optimize_and_load_gguf(model, optimize_rule_path, gguf_path, config) File "/home/tarjintor/ktransformers/ktransformers/optimize/optimize.py", line 128, in optimize_and_load_gguf inject(module, optimize_config, model_config, gguf_loader) File "/home/tarjintor/ktransformers/ktransformers/optimize/optimize.py", line 42, in inject inject(child, child_optimization_dict, model_config, gguf_loader, child_prefix) File "/home/tarjintor/ktransformers/ktransformers/optimize/optimize.py", line 42, in inject inject(child, child_optimization_dict, model_config, gguf_loader, child_prefix) File "/home/tarjintor/ktransformers/ktransformers/optimize/optimize.py", line 42, in inject inject(child, child_optimization_dict, model_config, gguf_loader, child_prefix) [Previous line repeated 1 more time] File "/home/tarjintor/ktransformers/ktransformers/optimize/optimize.py", line 33, in inject inject_module=module_cls(key = inject_module_meta["key"], gguf_loader = gguf_loader, config = model_config, orig_module=child, **inject_module_meta["kwargs"]) File "/home/tarjintor/ktransformers/ktransformers/operators/linear.py", line 378, in __init__ KLinearBase.__init__(self, key, gguf_loader, config, orig_module, generate_device, **kwargs) File "/home/tarjintor/ktransformers/ktransformers/operators/linear.py", line 61, in __init__ shape = self.gguf_loader.tensor_info[key + ".weight"]["shape"] KeyError: 'blk.0.attn_q_a.weight' ```

bsakaguchi commented

Author

Owner

@shuchong commented on GitHub (Feb 13, 2025):

---我试下了，--gguf_path 是传目录，传单独gguf文件不行。传入目录就行了

@shuchong commented on GitHub (Feb 13, 2025): > KeyError: 'blk.0.attn_q_a.weight' 同样遇到这样的报错，缺少该权重张量。 ---我试下了，--gguf_path 是传目录，传单独gguf文件不行。传入目录就行了

bsakaguchi commented

Author

Owner

@Pb-207 commented on GitHub (Feb 13, 2025):

我也是下载了unsloth的q2版本，但unsloth的q2版本没有config.json这些，我目前直接把原deepseek的config.json,modeling_deepseek.py这些代码无脑复制到了工作目录下，然后报错这个做法是不对吧？但没有config.json也报错我的执行命令是

python3 -m ktransformers.local_chat --model_path /home/xxx/workshop/ds_study \
--gguf_path /home/xxx/workshop/ds_study/DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ2_XXS/DeepSeek-R1-UD-IQ2_XXS-00001-of-00004.gguf --cpu_infer 20 --max_new_tokens 1024

目录格式如下

报错是

using custom modeling_xxx.py.
using default_optimize_rule for DeepseekV3ForCausalLM
Injecting model as ktransformers.operators.models . KDeepseekV2Model
Injecting model.embed_tokens as default
Injecting model.layers as default
Injecting model.layers.0 as default
Injecting model.layers.0.self_attn as ktransformers.operators.attention . KDeepseekV2Attention
Injecting model.layers.0.self_attn.q_a_proj as ktransformers.operators.linear . KTransformersLinear
Traceback (most recent call last):
  File "/usr/lib/python3.10/runpy.py", line 196, in _run_module_as_main
    return _run_code(code, main_globals, None,
  File "/usr/lib/python3.10/runpy.py", line 86, in _run_code
    exec(code, run_globals)
  File "/home/tarjintor/ktransformers/ktransformers/local_chat.py", line 179, in <module>
    fire.Fire(local_chat)
  File "/home/tarjintor/.local/lib/python3.10/site-packages/fire/core.py", line 135, in Fire
    component_trace = _Fire(component, args, parsed_flag_args, context, name)
  File "/home/tarjintor/.local/lib/python3.10/site-packages/fire/core.py", line 468, in _Fire
    component, remaining_args = _CallAndUpdateTrace(
  File "/home/tarjintor/.local/lib/python3.10/site-packages/fire/core.py", line 684, in _CallAndUpdateTrace
    component = fn(*varargs, **kwargs)
  File "/home/tarjintor/ktransformers/ktransformers/local_chat.py", line 110, in local_chat
    optimize_and_load_gguf(model, optimize_rule_path, gguf_path, config)
  File "/home/tarjintor/ktransformers/ktransformers/optimize/optimize.py", line 128, in optimize_and_load_gguf
    inject(module, optimize_config, model_config, gguf_loader)
  File "/home/tarjintor/ktransformers/ktransformers/optimize/optimize.py", line 42, in inject
    inject(child, child_optimization_dict, model_config, gguf_loader, child_prefix)
  File "/home/tarjintor/ktransformers/ktransformers/optimize/optimize.py", line 42, in inject
    inject(child, child_optimization_dict, model_config, gguf_loader, child_prefix)
  File "/home/tarjintor/ktransformers/ktransformers/optimize/optimize.py", line 42, in inject
    inject(child, child_optimization_dict, model_config, gguf_loader, child_prefix)
  [Previous line repeated 1 more time]
  File "/home/tarjintor/ktransformers/ktransformers/optimize/optimize.py", line 33, in inject
    inject_module=module_cls(key = inject_module_meta["key"], gguf_loader = gguf_loader, config = model_config, orig_module=child, **inject_module_meta["kwargs"])
  File "/home/tarjintor/ktransformers/ktransformers/operators/linear.py", line 378, in __init__
    KLinearBase.__init__(self, key, gguf_loader, config, orig_module, generate_device, **kwargs)
  File "/home/tarjintor/ktransformers/ktransformers/operators/linear.py", line 61, in __init__
    shape = self.gguf_loader.tensor_info[key + ".weight"]["shape"]
KeyError: 'blk.0.attn_q_a.weight'

我看别的issue里，貌似目前还不支持IQ系列量化？不过我用的unsloth的q4_k_m版本同样遇到了没有config.json的问题，从deepseek-r1那里下的config放过来会报错：ValueError: Unrecognized configuration class <class 'transformers_modules.json.configuration_deepseek.DeepseekV3Config'> to build an AutoTokenizer.

@Pb-207 commented on GitHub (Feb 13, 2025): > > > 什么时候可以支持R1 671B 2.22b动态量化版本？如何加载本地已经下载好的gguf文件而不需要连到HF？是否可以指定某些层或者多少层加载到GPU加速？ > > > > > > 你是unsloth/DeepSeek-R1-GGUF上的q2吗指的是？第二个问题，你下载到本地，通过gguf_path参数指定到本地gguf**文件夹**就行了可以指定某些层到GPU，在我们的optimize 的yaml文件里面可以调整，你可以参考主页的readme的文档指引 > > 我也是下载了unsloth的q2版本，但unsloth的q2版本没有config.json这些，我目前直接把原deepseek的config.json,modeling_deepseek.py这些代码无脑复制到了工作目录下，然后报错这个做法是不对吧？但没有config.json也报错我的执行命令是 > > ``` > python3 -m ktransformers.local_chat --model_path /home/xxx/workshop/ds_study \ > --gguf_path /home/xxx/workshop/ds_study/DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ2_XXS/DeepSeek-R1-UD-IQ2_XXS-00001-of-00004.gguf --cpu_infer 20 --max_new_tokens 1024 > ``` > > 目录格式如下 ![Image](https://github.com/user-attachments/assets/720a1fa5-800d-47af-a0eb-c27e944fafa3) > > 报错是 > > ``` > using custom modeling_xxx.py. > using default_optimize_rule for DeepseekV3ForCausalLM > Injecting model as ktransformers.operators.models . KDeepseekV2Model > Injecting model.embed_tokens as default > Injecting model.layers as default > Injecting model.layers.0 as default > Injecting model.layers.0.self_attn as ktransformers.operators.attention . KDeepseekV2Attention > Injecting model.layers.0.self_attn.q_a_proj as ktransformers.operators.linear . KTransformersLinear > Traceback (most recent call last): > File "/usr/lib/python3.10/runpy.py", line 196, in _run_module_as_main > return _run_code(code, main_globals, None, > File "/usr/lib/python3.10/runpy.py", line 86, in _run_code > exec(code, run_globals) > File "/home/tarjintor/ktransformers/ktransformers/local_chat.py", line 179, in <module> > fire.Fire(local_chat) > File "/home/tarjintor/.local/lib/python3.10/site-packages/fire/core.py", line 135, in Fire > component_trace = _Fire(component, args, parsed_flag_args, context, name) > File "/home/tarjintor/.local/lib/python3.10/site-packages/fire/core.py", line 468, in _Fire > component, remaining_args = _CallAndUpdateTrace( > File "/home/tarjintor/.local/lib/python3.10/site-packages/fire/core.py", line 684, in _CallAndUpdateTrace > component = fn(*varargs, **kwargs) > File "/home/tarjintor/ktransformers/ktransformers/local_chat.py", line 110, in local_chat > optimize_and_load_gguf(model, optimize_rule_path, gguf_path, config) > File "/home/tarjintor/ktransformers/ktransformers/optimize/optimize.py", line 128, in optimize_and_load_gguf > inject(module, optimize_config, model_config, gguf_loader) > File "/home/tarjintor/ktransformers/ktransformers/optimize/optimize.py", line 42, in inject > inject(child, child_optimization_dict, model_config, gguf_loader, child_prefix) > File "/home/tarjintor/ktransformers/ktransformers/optimize/optimize.py", line 42, in inject > inject(child, child_optimization_dict, model_config, gguf_loader, child_prefix) > File "/home/tarjintor/ktransformers/ktransformers/optimize/optimize.py", line 42, in inject > inject(child, child_optimization_dict, model_config, gguf_loader, child_prefix) > [Previous line repeated 1 more time] > File "/home/tarjintor/ktransformers/ktransformers/optimize/optimize.py", line 33, in inject > inject_module=module_cls(key = inject_module_meta["key"], gguf_loader = gguf_loader, config = model_config, orig_module=child, **inject_module_meta["kwargs"]) > File "/home/tarjintor/ktransformers/ktransformers/operators/linear.py", line 378, in __init__ > KLinearBase.__init__(self, key, gguf_loader, config, orig_module, generate_device, **kwargs) > File "/home/tarjintor/ktransformers/ktransformers/operators/linear.py", line 61, in __init__ > shape = self.gguf_loader.tensor_info[key + ".weight"]["shape"] > KeyError: 'blk.0.attn_q_a.weight' > ``` 我看别的issue里，貌似目前还不支持IQ系列量化？不过我用的unsloth的q4_k_m版本同样遇到了没有config.json的问题，从deepseek-r1那里下的config放过来会报错：ValueError: Unrecognized configuration class <class 'transformers_modules.json.configuration_deepseek.DeepseekV3Config'> to build an AutoTokenizer.

bsakaguchi commented

Author

Owner

@loliorz commented on GitHub (Feb 13, 2025):

是的，*****************隐藏了我真实的用户名路径

@loliorz commented on GitHub (Feb 13, 2025): > > > > > 什么时候可以支持R1 671B 2.22b动态量化版本？如何加载本地已经下载好的gguf文件而不需要连到HF？是否可以指定某些层或者多少层加载到GPU加速？ > > > > > > > > > > > > 你是unsloth/DeepSeek-R1-GGUF上的q2吗指的是？第二个问题，你下载到本地，通过gguf_path参数指定到本地gguf**文件夹**就行了可以指定某些层到GPU，在我们的optimize 的yaml文件里面可以调整，你可以参考主页的readme的文档指引 > > > > > > > > > --gguf_path已经指定到了本地的gguf文件夹，运行本地gguf的模式下，--model_path该如何填写？ktransformers似乎不会跳过去hub上寻找repo的过程，如何在执行ktransformers的时候，指定代理？如果可以屏蔽--model_path参数去hub上下载config.json的过程就好了，（另unsloth并没有针对他们量化的q2写config.json） > > > > > > `--model_path`指定一个目录，则会提示：Checkout '[https://huggingface.co//home/lolio*****************（本地文件地址）](https://huggingface.co//home/lolio*****************%EF%BC%88%E6%9C%AC%E5%9C%B0%E6%96%87%E4%BB%B6%E5%9C%B0%E5%9D%80%EF%BC%89) > > 你指定的目录是`/home/lolio*****************`吗？ [@loliorz](https://github.com/loliorz) > > > > > 什么时候可以支持R1 671B 2.22b动态量化版本？如何加载本地已经下载好的gguf文件而不需要连到HF？是否可以指定某些层或者多少层加载到GPU加速？ > > > > > > > > > > > > 你是unsloth/DeepSeek-R1-GGUF上的q2吗指的是？第二个问题，你下载到本地，通过gguf_path参数指定到本地gguf**文件夹**就行了可以指定某些层到GPU，在我们的optimize 的yaml文件里面可以调整，你可以参考主页的readme的文档指引 > > > > > > > > > --gguf_path已经指定到了本地的gguf文件夹，运行本地gguf的模式下，--model_path该如何填写？ktransformers似乎不会跳过去hub上寻找repo的过程，如何在执行ktransformers的时候，指定代理？如果可以屏蔽--model_path参数去hub上下载config.json的过程就好了，（另unsloth并没有针对他们量化的q2写config.json） > > > > > > `--model_path`指定一个目录，则会提示：Checkout '[https://huggingface.co//home/lolio*****************（本地文件地址）](https://huggingface.co//home/lolio*****************%EF%BC%88%E6%9C%AC%E5%9C%B0%E6%96%87%E4%BB%B6%E5%9C%B0%E5%9D%80%EF%BC%89) > > 你指定的目录是`/home/lolio*****************`吗？ [@loliorz](https://github.com/loliorz) > > > > > 什么时候可以支持R1 671B 2.22b动态量化版本？如何加载本地已经下载好的gguf文件而不需要连到HF？是否可以指定某些层或者多少层加载到GPU加速？ > > > > > > > > > > > > 你是unsloth/DeepSeek-R1-GGUF上的q2吗指的是？第二个问题，你下载到本地，通过gguf_path参数指定到本地gguf**文件夹**就行了可以指定某些层到GPU，在我们的optimize 的yaml文件里面可以调整，你可以参考主页的readme的文档指引 > > > > > > > > > --gguf_path已经指定到了本地的gguf文件夹，运行本地gguf的模式下，--model_path该如何填写？ktransformers似乎不会跳过去hub上寻找repo的过程，如何在执行ktransformers的时候，指定代理？如果可以屏蔽--model_path参数去hub上下载config.json的过程就好了，（另unsloth并没有针对他们量化的q2写config.json） > > > > > > `--model_path`指定一个目录，则会提示：Checkout '[https://huggingface.co//home/lolio*****************（本地文件地址）](https://huggingface.co//home/lolio*****************%EF%BC%88%E6%9C%AC%E5%9C%B0%E6%96%87%E4%BB%B6%E5%9C%B0%E5%9D%80%EF%BC%89) > > 你指定的目录是`/home/lolio*****************`吗？ [@loliorz](https://github.com/loliorz) 是的，*****************隐藏了我真实的用户名路径

bsakaguchi commented

Author

Owner

@tarjintor commented on GitHub (Feb 13, 2025):

python3 -m ktransformers.local_chat --model_path /home/tarjintor/workshop/ds_study --gguf_path /home/tarjintor/workshop/ds_study/DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ2_XXS/ --cpu_infer 20 --max_new_tokens 1024

成功运行起来了，但结果都是乱码

@tarjintor commented on GitHub (Feb 13, 2025): > > KeyError: 'blk.0.attn_q_a.weight' > > 同样遇到这样的报错，缺少该权重张量。 > > ---我试下了，--gguf_path 是传目录，传单独gguf文件不行。传入目录就行了 ` python3 -m ktransformers.local_chat --model_path /home/tarjintor/workshop/ds_study --gguf_path /home/tarjintor/workshop/ds_study/DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ2_XXS/ --cpu_infer 20 --max_new_tokens 1024` 成功运行起来了，但结果都是乱码 ![Image](https://github.com/user-attachments/assets/01c1c421-e75f-4d94-9779-3036b568ac4a)

bsakaguchi commented

Author

Owner

@BiFangKNT commented on GitHub (Feb 13, 2025):

你应该设置抱抱脸上的仓库路径，而不是你的本地路径，并且不需要在前面加/

@BiFangKNT commented on GitHub (Feb 13, 2025): > > > > > > 什么时候可以支持R1 671B 2.22b动态量化版本？如何加载本地已经下载好的gguf文件而不需要连到HF？是否可以指定某些层或者多少层加载到GPU加速？ > > > > > > > > > > > > > > > 你是unsloth/DeepSeek-R1-GGUF上的q2吗指的是？第二个问题，你下载到本地，通过gguf_path参数指定到本地gguf**文件夹**就行了可以指定某些层到GPU，在我们的optimize 的yaml文件里面可以调整，你可以参考主页的readme的文档指引 > > > > > > > > > > > > --gguf_path已经指定到了本地的gguf文件夹，运行本地gguf的模式下，--model_path该如何填写？ktransformers似乎不会跳过去hub上寻找repo的过程，如何在执行ktransformers的时候，指定代理？如果可以屏蔽--model_path参数去hub上下载config.json的过程就好了，（另unsloth并没有针对他们量化的q2写config.json） > > > > > > > > > `--model_path`指定一个目录，则会提示：Checkout '[https://huggingface.co//home/lolio*****************（本地文件地址）](https://huggingface.co//home/lolio*****************%EF%BC%88%E6%9C%AC%E5%9C%B0%E6%96%87%E4%BB%B6%E5%9C%B0%E5%9D%80%EF%BC%89) > > > > > > 你指定的目录是`/home/lolio*****************`吗？ [@loliorz](https://github.com/loliorz) > > > > > > > 什么时候可以支持R1 671B 2.22b动态量化版本？如何加载本地已经下载好的gguf文件而不需要连到HF？是否可以指定某些层或者多少层加载到GPU加速？ > > > > > > > > > > > > > > > 你是unsloth/DeepSeek-R1-GGUF上的q2吗指的是？第二个问题，你下载到本地，通过gguf_path参数指定到本地gguf**文件夹**就行了可以指定某些层到GPU，在我们的optimize 的yaml文件里面可以调整，你可以参考主页的readme的文档指引 > > > > > > > > > > > > --gguf_path已经指定到了本地的gguf文件夹，运行本地gguf的模式下，--model_path该如何填写？ktransformers似乎不会跳过去hub上寻找repo的过程，如何在执行ktransformers的时候，指定代理？如果可以屏蔽--model_path参数去hub上下载config.json的过程就好了，（另unsloth并没有针对他们量化的q2写config.json） > > > > > > > > > `--model_path`指定一个目录，则会提示：Checkout '[https://huggingface.co//home/lolio*****************（本地文件地址）](https://huggingface.co//home/lolio*****************%EF%BC%88%E6%9C%AC%E5%9C%B0%E6%96%87%E4%BB%B6%E5%9C%B0%E5%9D%80%EF%BC%89) > > > > > > 你指定的目录是`/home/lolio*****************`吗？ [@loliorz](https://github.com/loliorz) > > > > > > > 什么时候可以支持R1 671B 2.22b动态量化版本？如何加载本地已经下载好的gguf文件而不需要连到HF？是否可以指定某些层或者多少层加载到GPU加速？ > > > > > > > > > > > > > > > 你是unsloth/DeepSeek-R1-GGUF上的q2吗指的是？第二个问题，你下载到本地，通过gguf_path参数指定到本地gguf**文件夹**就行了可以指定某些层到GPU，在我们的optimize 的yaml文件里面可以调整，你可以参考主页的readme的文档指引 > > > > > > > > > > > > --gguf_path已经指定到了本地的gguf文件夹，运行本地gguf的模式下，--model_path该如何填写？ktransformers似乎不会跳过去hub上寻找repo的过程，如何在执行ktransformers的时候，指定代理？如果可以屏蔽--model_path参数去hub上下载config.json的过程就好了，（另unsloth并没有针对他们量化的q2写config.json） > > > > > > > > > `--model_path`指定一个目录，则会提示：Checkout '[https://huggingface.co//home/lolio*****************（本地文件地址）](https://huggingface.co//home/lolio*****************%EF%BC%88%E6%9C%AC%E5%9C%B0%E6%96%87%E4%BB%B6%E5%9C%B0%E5%9D%80%EF%BC%89) > > > > > > 你指定的目录是`/home/lolio*****************`吗？ [@loliorz](https://github.com/loliorz) > > 是的，*****************隐藏了我真实的用户名路径你应该设置抱抱脸上的仓库路径，而不是你的本地路径，并且不需要在前面加`/`

bsakaguchi commented

Author

Owner

@BiFangKNT commented on GitHub (Feb 13, 2025):

目前不适配iqx量化啊，不是说过了吗

@BiFangKNT commented on GitHub (Feb 13, 2025): > > > KeyError: 'blk.0.attn_q_a.weight' > > > 同样遇到这样的报错，缺少该权重张量。 > > > > > > ---我试下了，--gguf_path 是传目录，传单独gguf文件不行。传入目录就行了 > > ` python3 -m ktransformers.local_chat --model_path /home/tarjintor/workshop/ds_study --gguf_path /home/tarjintor/workshop/ds_study/DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ2_XXS/ --cpu_infer 20 --max_new_tokens 1024` > > 成功运行起来了，但结果都是乱码 > > ![Image](https://github.com/user-attachments/assets/01c1c421-e75f-4d94-9779-3036b568ac4a) 目前不适配iqx量化啊，不是说过了吗

bsakaguchi commented

Author

Owner

@tarjintor commented on GitHub (Feb 13, 2025):

好的，明白了，那我先把流程跑通，然后等更新了，加油大佬

@tarjintor commented on GitHub (Feb 13, 2025): > > > > KeyError: 'blk.0.attn_q_a.weight' > > > > 同样遇到这样的报错，缺少该权重张量。 > > > > > > > > > ---我试下了，--gguf_path 是传目录，传单独gguf文件不行。传入目录就行了 > > > > > > ` python3 -m ktransformers.local_chat --model_path /home/tarjintor/workshop/ds_study --gguf_path /home/tarjintor/workshop/ds_study/DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ2_XXS/ --cpu_infer 20 --max_new_tokens 1024` > > 成功运行起来了，但结果都是乱码 > > ![Image](https://github.com/user-attachments/assets/01c1c421-e75f-4d94-9779-3036b568ac4a) > > 目前不适配iqx量化啊，不是说过了吗好的，明白了，那我先把流程跑通，然后等更新了，加油大佬

bsakaguchi commented

Author

Owner

@BiFangKNT commented on GitHub (Feb 13, 2025):

我不是项目相关人员，我只是个路过的热心网友🤗

@BiFangKNT commented on GitHub (Feb 13, 2025): > > > > > KeyError: 'blk.0.attn_q_a.weight' > > > > > 同样遇到这样的报错，缺少该权重张量。 > > > > > > > > > > > > ---我试下了，--gguf_path 是传目录，传单独gguf文件不行。传入目录就行了 > > > > > > > > > ` python3 -m ktransformers.local_chat --model_path /home/tarjintor/workshop/ds_study --gguf_path /home/tarjintor/workshop/ds_study/DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ2_XXS/ --cpu_infer 20 --max_new_tokens 1024` > > > 成功运行起来了，但结果都是乱码 > > > ![Image](https://github.com/user-attachments/assets/01c1c421-e75f-4d94-9779-3036b568ac4a) > > > > > > 目前不适配iqx量化啊，不是说过了吗 > > 好的，明白了，那我先把流程跑通，然后等更新了，加油大佬我不是项目相关人员，我只是个路过的热心网友🤗

bsakaguchi commented

Author

Owner

@loliorz commented on GitHub (Feb 13, 2025):

我使用了你的方法，把deepseek-r1的config文件全部拷贝过来，用于启动DeepSeek-R1-UD-Q2_K_XL
loading blk.3.attn_kv_b.weight to cuda:0 loading blk.3.ffn_gate_inp.weight to cuda:0 Traceback (most recent call last): File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/local_chat.py", line 159, in <module> fire.Fire(local_chat) File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/fire/core.py", line 135, in Fire component_trace = _Fire(component, args, parsed_flag_args, context, name) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/fire/core.py", line 468, in _Fire component, remaining_args = _CallAndUpdateTrace( ^^^^^^^^^^^^^^^^^^^^ File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/fire/core.py", line 684, in _CallAndUpdateTrace component = fn(*varargs, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^ File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/local_chat.py", line 106, in local_chat optimize_and_load_gguf(model, optimize_rule_path, gguf_path, config) File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/optimize/optimize.py", line 129, in optimize_and_load_gguf load_weights(module, gguf_loader) File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 83, in load_weights load_weights(child, gguf_loader, prefix+name+".") File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 85, in load_weights module.load() File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/operators/base_operator.py", line 60, in load utils.load_weights(child, self.gguf_loader, self.key+".") File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 83, in load_weights load_weights(child, gguf_loader, prefix+name+".") File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 83, in load_weights load_weights(child, gguf_loader, prefix+name+".") File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 83, in load_weights load_weights(child, gguf_loader, prefix+name+".") [Previous line repeated 1 more time] File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 81, in load_weights load_cur_state_dict(module, gguf_loader, prefix) File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 76, in load_cur_state_dict raise Exception(f"can't find {translated_key} in GGUF file!") Exception: can't find blk.3.ffn_gate_inp.e_score_correction_bias in GGUF file!

@loliorz commented on GitHub (Feb 13, 2025): > > > KeyError: 'blk.0.attn_q_a.weight' > > > 同样遇到这样的报错，缺少该权重张量。 > > > > > > ---我试下了，--gguf_path 是传目录，传单独gguf文件不行。传入目录就行了 > > ` python3 -m ktransformers.local_chat --model_path /home/tarjintor/workshop/ds_study --gguf_path /home/tarjintor/workshop/ds_study/DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ2_XXS/ --cpu_infer 20 --max_new_tokens 1024` > > 成功运行起来了，但结果都是乱码 > > ![Image](https://github.com/user-attachments/assets/01c1c421-e75f-4d94-9779-3036b568ac4a) 我使用了你的方法，把deepseek-r1的config文件全部拷贝过来，用于启动DeepSeek-R1-UD-Q2_K_XL `loading blk.3.attn_kv_b.weight to cuda:0 loading blk.3.ffn_gate_inp.weight to cuda:0 Traceback (most recent call last): File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/local_chat.py", line 159, in <module> fire.Fire(local_chat) File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/fire/core.py", line 135, in Fire component_trace = _Fire(component, args, parsed_flag_args, context, name) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/fire/core.py", line 468, in _Fire component, remaining_args = _CallAndUpdateTrace( ^^^^^^^^^^^^^^^^^^^^ File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/fire/core.py", line 684, in _CallAndUpdateTrace component = fn(*varargs, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^ File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/local_chat.py", line 106, in local_chat optimize_and_load_gguf(model, optimize_rule_path, gguf_path, config) File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/optimize/optimize.py", line 129, in optimize_and_load_gguf load_weights(module, gguf_loader) File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 83, in load_weights load_weights(child, gguf_loader, prefix+name+".") File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 85, in load_weights module.load() File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/operators/base_operator.py", line 60, in load utils.load_weights(child, self.gguf_loader, self.key+".") File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 83, in load_weights load_weights(child, gguf_loader, prefix+name+".") File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 83, in load_weights load_weights(child, gguf_loader, prefix+name+".") File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 83, in load_weights load_weights(child, gguf_loader, prefix+name+".") [Previous line repeated 1 more time] File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 81, in load_weights load_cur_state_dict(module, gguf_loader, prefix) File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 76, in load_cur_state_dict raise Exception(f"can't find {translated_key} in GGUF file!") Exception: can't find blk.3.ffn_gate_inp.e_score_correction_bias in GGUF file! `

bsakaguchi commented

Author

Owner

@loliorz commented on GitHub (Feb 13, 2025):

我本地的环境搭建了代理，但是需要指定代理端口可以使用，目前还没有搞清楚如何在使用ktransformers命令的时候，指定代理
所以我使用了@tarjintor的方法，使用deepseek-r1的config文件，报错：
loading blk.3.attn_kv_b.weight to cuda:0 loading blk.3.ffn_gate_inp.weight to cuda:0 Traceback (most recent call last): File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/local_chat.py", line 159, in <module> fire.Fire(local_chat) File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/fire/core.py", line 135, in Fire component_trace = _Fire(component, args, parsed_flag_args, context, name) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/fire/core.py", line 468, in _Fire component, remaining_args = _CallAndUpdateTrace( ^^^^^^^^^^^^^^^^^^^^ File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/fire/core.py", line 684, in _CallAndUpdateTrace component = fn(*varargs, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^ File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/local_chat.py", line 106, in local_chat optimize_and_load_gguf(model, optimize_rule_path, gguf_path, config) File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/optimize/optimize.py", line 129, in optimize_and_load_gguf load_weights(module, gguf_loader) File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 83, in load_weights load_weights(child, gguf_loader, prefix+name+".") File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 85, in load_weights module.load() File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/operators/base_operator.py", line 60, in load utils.load_weights(child, self.gguf_loader, self.key+".") File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 83, in load_weights load_weights(child, gguf_loader, prefix+name+".") File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 83, in load_weights load_weights(child, gguf_loader, prefix+name+".") File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 83, in load_weights load_weights(child, gguf_loader, prefix+name+".") [Previous line repeated 1 more time] File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 81, in load_weights load_cur_state_dict(module, gguf_loader, prefix) File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 76, in load_cur_state_dict raise Exception(f"can't find {translated_key} in GGUF file!") Exception: can't find blk.3.ffn_gate_inp.e_score_correction_bias in GGUF file!

@loliorz commented on GitHub (Feb 13, 2025): > > > > > > > 什么时候可以支持R1 671B 2.22b动态量化版本？如何加载本地已经下载好的gguf文件而不需要连到HF？是否可以指定某些层或者多少层加载到GPU加速？ > > > > > > > > > > > > > > > > > > 你是unsloth/DeepSeek-R1-GGUF上的q2吗指的是？第二个问题，你下载到本地，通过gguf_path参数指定到本地gguf**文件夹**就行了可以指定某些层到GPU，在我们的optimize 的yaml文件里面可以调整，你可以参考主页的readme的文档指引 > > > > > > > > > > > > > > > --gguf_path已经指定到了本地的gguf文件夹，运行本地gguf的模式下，--model_path该如何填写？ktransformers似乎不会跳过去hub上寻找repo的过程，如何在执行ktransformers的时候，指定代理？如果可以屏蔽--model_path参数去hub上下载config.json的过程就好了，（另unsloth并没有针对他们量化的q2写config.json） > > > > > > > > > > > > `--model_path`指定一个目录，则会提示：Checkout '[https://huggingface.co//home/lolio*****************（本地文件地址）](https://huggingface.co//home/lolio*****************%EF%BC%88%E6%9C%AC%E5%9C%B0%E6%96%87%E4%BB%B6%E5%9C%B0%E5%9D%80%EF%BC%89) > > > > > > > > > 你指定的目录是`/home/lolio*****************`吗？ [@loliorz](https://github.com/loliorz) > > > > > > > > > > > 什么时候可以支持R1 671B 2.22b动态量化版本？如何加载本地已经下载好的gguf文件而不需要连到HF？是否可以指定某些层或者多少层加载到GPU加速？ > > > > > > > > > > > > > > > > > > 你是unsloth/DeepSeek-R1-GGUF上的q2吗指的是？第二个问题，你下载到本地，通过gguf_path参数指定到本地gguf**文件夹**就行了可以指定某些层到GPU，在我们的optimize 的yaml文件里面可以调整，你可以参考主页的readme的文档指引 > > > > > > > > > > > > > > > --gguf_path已经指定到了本地的gguf文件夹，运行本地gguf的模式下，--model_path该如何填写？ktransformers似乎不会跳过去hub上寻找repo的过程，如何在执行ktransformers的时候，指定代理？如果可以屏蔽--model_path参数去hub上下载config.json的过程就好了，（另unsloth并没有针对他们量化的q2写config.json） > > > > > > > > > > > > `--model_path`指定一个目录，则会提示：Checkout '[https://huggingface.co//home/lolio*****************（本地文件地址）](https://huggingface.co//home/lolio*****************%EF%BC%88%E6%9C%AC%E5%9C%B0%E6%96%87%E4%BB%B6%E5%9C%B0%E5%9D%80%EF%BC%89) > > > > > > > > > 你指定的目录是`/home/lolio*****************`吗？ [@loliorz](https://github.com/loliorz) > > > > > > > > > > > 什么时候可以支持R1 671B 2.22b动态量化版本？如何加载本地已经下载好的gguf文件而不需要连到HF？是否可以指定某些层或者多少层加载到GPU加速？ > > > > > > > > > > > > > > > > > > 你是unsloth/DeepSeek-R1-GGUF上的q2吗指的是？第二个问题，你下载到本地，通过gguf_path参数指定到本地gguf**文件夹**就行了可以指定某些层到GPU，在我们的optimize 的yaml文件里面可以调整，你可以参考主页的readme的文档指引 > > > > > > > > > > > > > > > --gguf_path已经指定到了本地的gguf文件夹，运行本地gguf的模式下，--model_path该如何填写？ktransformers似乎不会跳过去hub上寻找repo的过程，如何在执行ktransformers的时候，指定代理？如果可以屏蔽--model_path参数去hub上下载config.json的过程就好了，（另unsloth并没有针对他们量化的q2写config.json） > > > > > > > > > > > > `--model_path`指定一个目录，则会提示：Checkout '[https://huggingface.co//home/lolio*****************（本地文件地址）](https://huggingface.co//home/lolio*****************%EF%BC%88%E6%9C%AC%E5%9C%B0%E6%96%87%E4%BB%B6%E5%9C%B0%E5%9D%80%EF%BC%89) > > > > > > > > > 你指定的目录是`/home/lolio*****************`吗？ [@loliorz](https://github.com/loliorz) > > > > > > 是的，*****************隐藏了我真实的用户名路径 > > 你应该设置抱抱脸上的仓库路径，而不是你的本地路径，并且不需要在前面加`/` 我本地的环境搭建了代理，但是需要指定代理端口可以使用，目前还没有搞清楚如何在使用ktransformers命令的时候，指定代理所以我使用了@tarjintor的方法，使用deepseek-r1的config文件，报错： `loading blk.3.attn_kv_b.weight to cuda:0 loading blk.3.ffn_gate_inp.weight to cuda:0 Traceback (most recent call last): File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/local_chat.py", line 159, in <module> fire.Fire(local_chat) File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/fire/core.py", line 135, in Fire component_trace = _Fire(component, args, parsed_flag_args, context, name) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/fire/core.py", line 468, in _Fire component, remaining_args = _CallAndUpdateTrace( ^^^^^^^^^^^^^^^^^^^^ File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/fire/core.py", line 684, in _CallAndUpdateTrace component = fn(*varargs, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^ File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/local_chat.py", line 106, in local_chat optimize_and_load_gguf(model, optimize_rule_path, gguf_path, config) File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/optimize/optimize.py", line 129, in optimize_and_load_gguf load_weights(module, gguf_loader) File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 83, in load_weights load_weights(child, gguf_loader, prefix+name+".") File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 85, in load_weights module.load() File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/operators/base_operator.py", line 60, in load utils.load_weights(child, self.gguf_loader, self.key+".") File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 83, in load_weights load_weights(child, gguf_loader, prefix+name+".") File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 83, in load_weights load_weights(child, gguf_loader, prefix+name+".") File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 83, in load_weights load_weights(child, gguf_loader, prefix+name+".") [Previous line repeated 1 more time] File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 81, in load_weights load_cur_state_dict(module, gguf_loader, prefix) File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 76, in load_cur_state_dict raise Exception(f"can't find {translated_key} in GGUF file!") Exception: can't find blk.3.ffn_gate_inp.e_score_correction_bias in GGUF file!`

bsakaguchi commented

Author

Owner

@ruifenggong commented on GitHub (Feb 13, 2025):

--model_path 直接填deepseek-ai/DeepSeek-R1 就可以了，虽然用的unsloth/DeepSeek-R1-GGUF它的量化模型，但config还是读的官方仓库的，我的guff是下到了本地的，

# 环境变量
export HF_ENDPOINT=https://hf-mirror.com`
# 启动
python ./ktransformers/local_chat.py --model_path deepseek-ai/DeepSeek-R1 --gguf_path /workspace/llms/DeepSeek-R1-GGUF/  --cpu_infer 65 --max_new_tokens 1000 --force_think true

@ruifenggong commented on GitHub (Feb 13, 2025): > > > 什么时候可以支持R1 671B 2.22b动态量化版本？如何加载本地已经下载好的gguf文件而不需要连到HF？是否可以指定某些层或者多少层加载到GPU加速？ > > > > > > 你是unsloth/DeepSeek-R1-GGUF上的q2吗指的是？第二个问题，你下载到本地，通过gguf_path参数指定到本地gguf**文件夹**就行了可以指定某些层到GPU，在我们的optimize 的yaml文件里面可以调整，你可以参考主页的readme的文档指引 > > --gguf_path已经指定到了本地的gguf文件夹，运行本地gguf的模式下，--model_path该如何填写？ktransformers似乎不会跳过去hub上寻找repo的过程，如何在执行ktransformers的时候，指定代理？如果可以屏蔽--model_path参数去hub上下载config.json的过程就好了，（另unsloth并没有针对他们量化的q2写config.json） `--model_path` 直接填`deepseek-ai/DeepSeek-R1` 就可以了，虽然用的unsloth/DeepSeek-R1-GGUF它的量化模型，但config还是读的官方仓库的，我的guff是下到了本地的， ``` # 环境变量 export HF_ENDPOINT=https://hf-mirror.com` # 启动 python ./ktransformers/local_chat.py --model_path deepseek-ai/DeepSeek-R1 --gguf_path /workspace/llms/DeepSeek-R1-GGUF/ --cpu_infer 65 --max_new_tokens 1000 --force_think true ```

bsakaguchi commented

Author

Owner

@loliorz commented on GitHub (Feb 13, 2025):

感谢你的回复，使用镜像以后，可以访问hf了。
不过有新的问题产生，我正在排查

@loliorz commented on GitHub (Feb 13, 2025): > > > > 什么时候可以支持R1 671B 2.22b动态量化版本？如何加载本地已经下载好的gguf文件而不需要连到HF？是否可以指定某些层或者多少层加载到GPU加速？ > > > > > > > > > 你是unsloth/DeepSeek-R1-GGUF上的q2吗指的是？第二个问题，你下载到本地，通过gguf_path参数指定到本地gguf**文件夹**就行了可以指定某些层到GPU，在我们的optimize 的yaml文件里面可以调整，你可以参考主页的readme的文档指引 > > > > > > --gguf_path已经指定到了本地的gguf文件夹，运行本地gguf的模式下，--model_path该如何填写？ktransformers似乎不会跳过去hub上寻找repo的过程，如何在执行ktransformers的时候，指定代理？如果可以屏蔽--model_path参数去hub上下载config.json的过程就好了，（另unsloth并没有针对他们量化的q2写config.json） > > `--model_path` 直接填`deepseek-ai/DeepSeek-R1` 就可以了，虽然用的unsloth/DeepSeek-R1-GGUF它的量化模型，但config还是读的官方仓库的，我的guff是下到了本地的， > > ``` > # 环境变量 > export HF_ENDPOINT=https://hf-mirror.com` > # 启动 > python ./ktransformers/local_chat.py --model_path deepseek-ai/DeepSeek-R1 --gguf_path /workspace/llms/DeepSeek-R1-GGUF/ --cpu_infer 65 --max_new_tokens 1000 --force_think true > ``` 感谢你的回复，使用镜像以后，可以访问hf了。不过有新的问题产生，我正在排查

bsakaguchi commented

Author

Owner

@loliorz commented on GitHub (Feb 13, 2025):

问题关闭：使用git clone最新的代码解决，pip 安装的版本未更新为最新代码

@loliorz commented on GitHub (Feb 13, 2025): > > > > > > > > 什么时候可以支持R1 671B 2.22b动态量化版本？如何加载本地已经下载好的gguf文件而不需要连到HF？是否可以指定某些层或者多少层加载到GPU加速？ > > > > > > > > > > > > > > > > > > > > > 第二个问题，你下载到本地，通过gguf_path参数指定到本地gguf**文件夹**就可以指定某些层到GPU，在我们的optimize的yaml文件里面可以调整，你可以参考主页的readme的文档指引 > > > > > > > > > > > > > > > > > > --gguf_path已经指定到了本地的gguf文件夹，运行本地gguf的模式下，--model_path就填写了？ktransformers好像不会跳过去hub上寻找repo的过程，如何在执行ktransformers的时候，指定代理？如果可以提示--model_path参数去hub上下载config.json的过程就好了，（另外unsloth并没有针对他们自定义的q2写config.json） > > > > > > > > > > > > > > > `--model_path`指定一个目录，底部提示：Checkout ' [https://huggingface.co//home/lolio********************（本地文件地址）](https://huggingface.co//home/lolio*****************%EF%BC%88%E6%9C%AC%E5%9C%B0%E6%96%87%E4%BB%B6%E5%9C%B0%E5%9D%80%EF%BC%89) > > > > > > > > > > > > 你指定的目录是`/home/lolio*****************`吗？[@loliorz](https://github.com/loliorz) > > > > > > > > > > > > > > 什么时候可以支持R1 671B 2.22b动态量化版本？如何加载本地已经下载好的gguf文件而不需要连到HF？是否可以指定某些层或者多少层加载到GPU加速？ > > > > > > > > > > > > > > > > > > > > > 第二个问题，你下载到本地，通过gguf_path参数指定到本地gguf**文件夹**就可以指定某些层到GPU，在我们的optimize的yaml文件里面可以调整，你可以参考主页的readme的文档指引 > > > > > > > > > > > > > > > > > > --gguf_path已经指定到了本地的gguf文件夹，运行本地gguf的模式下，--model_path就填写了？ktransformers好像不会跳过去hub上寻找repo的过程，如何在执行ktransformers的时候，指定代理？如果可以提示--model_path参数去hub上下载config.json的过程就好了，（另外unsloth并没有针对他们自定义的q2写config.json） > > > > > > > > > > > > > > > `--model_path`指定一个目录，底部提示：Checkout ' [https://huggingface.co//home/lolio********************（本地文件地址）](https://huggingface.co//home/lolio*****************%EF%BC%88%E6%9C%AC%E5%9C%B0%E6%96%87%E4%BB%B6%E5%9C%B0%E5%9D%80%EF%BC%89) > > > > > > > > > > > > 你指定的目录是`/home/lolio*****************`吗？[@loliorz](https://github.com/loliorz) > > > > > > > > > > > > > > 什么时候可以支持R1 671B 2.22b动态量化版本？如何加载本地已经下载好的gguf文件而不需要连到HF？是否可以指定某些层或者多少层加载到GPU加速？ > > > > > > > > > > > > > > > > > > > > > 第二个问题，你下载到本地，通过gguf_path参数指定到本地gguf**文件夹**就可以指定某些层到GPU，在我们的optimize的yaml文件里面可以调整，你可以参考主页的readme的文档指引 > > > > > > > > > > > > > > > > > > --gguf_path已经指定到了本地的gguf文件夹，运行本地gguf的模式下，--model_path就填写了？ktransformers好像不会跳过去hub上寻找repo的过程，如何在执行ktransformers的时候，指定代理？如果可以提示--model_path参数去hub上下载config.json的过程就好了，（另外unsloth并没有针对他们自定义的q2写config.json） > > > > > > > > > > > > > > > `--model_path`指定一个目录，底部提示：Checkout ' [https://huggingface.co//home/lolio********************（本地文件地址）](https://huggingface.co//home/lolio*****************%EF%BC%88%E6%9C%AC%E5%9C%B0%E6%96%87%E4%BB%B6%E5%9C%B0%E5%9D%80%EF%BC%89) > > > > > > > > > > > > 你指定的目录是`/home/lolio*****************`吗？[@loliorz](https://github.com/loliorz) > > > > > > > > > 是的，********************隐藏了我真实的用户名路径 > > > > > > 你应该设置抱抱下面的仓库路径，而不是你的本地路径，并且不需要在前面加`/` > > 我本地的环境搭建了代理，但是需要指定代理端口可以使用，目前还没有搞清楚如何在使用ktransformers命令的时候，指定代理所以我使用了[@tarjintor](https://github.com/tarjintor)的方法，使用deepseek-r1的config文件，报错： `loading blk.3.attn_kv_b.weight to cuda:0 loading blk.3.ffn_gate_inp.weight to cuda:0 Traceback (most recent call last): File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/local_chat.py", line 159, in <module> fire.Fire(local_chat) File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/fire/core.py", line 135, in Fire component_trace = _Fire(component, args, parsed_flag_args, context, name) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/fire/core.py", line 468, in _Fire component, remaining_args = _CallAndUpdateTrace( ^^^^^^^^^^^^^^^^^^^^ File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/fire/core.py", line 684, in _CallAndUpdateTrace component = fn(*varargs, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^ File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/local_chat.py", line 106, in local_chat optimize_and_load_gguf(model, optimize_rule_path, gguf_path, config) File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/optimize/optimize.py", line 129, in optimize_and_load_gguf load_weights(module, gguf_loader) File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 83, in load_weights load_weights(child, gguf_loader, prefix+name+".") File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 85, in load_weights module.load() File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/operators/base_operator.py", line 60, in load utils.load_weights(child, self.gguf_loader, self.key+".") File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 83, in load_weights load_weights(child, gguf_loader, prefix+name+".") File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 83, in load_weights load_weights(child, gguf_loader, prefix+name+".") File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 83, in load_weights load_weights(child, gguf_loader, prefix+name+".") [Previous line repeated 1 more time] File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 81, in load_weights load_cur_state_dict(module, gguf_loader, prefix) File "/home/loliorz/./anaconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/util/utils.py", line 76, in load_cur_state_dict raise Exception(f"can't find {translated_key} in GGUF file!") Exception: can't find blk.3.ffn_gate_inp.e_score_correction_bias in GGUF file!` 问题关闭：使用git clone最新的代码解决，pip 安装的版本未更新为最新代码

bsakaguchi commented