[GH-ISSUE #883] ktransformers --type transformers这个模式里config.json #638

New issue

Closed

opened 2026-10-29 14:42:15 +00:00 by bsakaguchi · 1 comment

bsakaguchi commented

2026-10-29 14:42:15 +00:00

Owner

Originally created by @113514089 on GitHub (Mar 13, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/883

Originally assigned to: @qiyuxinlin, @KMSorSMS on GitHub.

用这个模式始终不得要领，但是又查不到相关资料，我想问下这个模式有什么好处没？还有这个模式对系统的要求是什么，还是和前面一样没变吗，4090 48g跑671b 要什么条件，设置什么参数比如我现在就遇到一个问题：TypeError: GPTQConfig.init() missing 1 required positional argument: 'bits'
其实config.json里面参数很多，但是不知道该怎么设置，那里有相关得说明文件可以看

Originally created by @113514089 on GitHub (Mar 13, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/883 Originally assigned to: @qiyuxinlin, @KMSorSMS on GitHub. 用这个模式始终不得要领，但是又查不到相关资料，我想问下这个模式有什么好处没？还有这个模式对系统的要求是什么，还是和前面一样没变吗，4090 48g跑671b 要什么条件，设置什么参数比如我现在就遇到一个问题：TypeError: GPTQConfig.__init__() missing 1 required positional argument: 'bits' 其实config.json里面参数很多，但是不知道该怎么设置，那里有相关得说明文件可以看

bsakaguchi closed this issue

2026-10-29 14:42:15 +00:00

bsakaguchi commented

2026-10-29 14:42:16 +00:00

Author

Owner

@qiyuxinlin commented on GitHub (Mar 20, 2025):

transformers 模式没有好处，并且很久没有维护，启动命令中只会有下列参数有用：
--model_path: safetensor config 目录；
--gguf_path: gguf 模型权重目录；
--max_new_tokens: 最大生成 token 个数
--cache_lens：最大上下文长度
--cpu_infer：启动进程数
--optimize_config_path: 注入规则 yaml 文件
--force_think: 强制输出 think
--port: server 启动端口号
我们尽量在下个版本中删除 config.json 没有用到的配置信息，并更新到文档中

@qiyuxinlin commented on GitHub (Mar 20, 2025): transformers 模式没有好处，并且很久没有维护，启动命令中只会有下列参数有用： --model_path: safetensor config 目录； --gguf_path: gguf 模型权重目录； --max_new_tokens: 最大生成 token 个数 --cache_lens：最大上下文长度 --cpu_infer：启动进程数 --optimize_config_path: 注入规则 yaml 文件 --force_think: 强制输出 think --port: server 启动端口号我们尽量在下个版本中删除 config.json 没有用到的配置信息，并更新到文档中

bsakaguchi referenced this issue

2026-10-29 14:52:27 +00:00

[PR #638] [MERGED] fix KExpertsMarlin on GPU with out CUDA Graph #1438

bsakaguchi referenced this issue

2026-10-29 14:52:30 +00:00

[PR #657] [MERGED] Feat absorb for long prefill #1447