[GH-ISSUE #1856] 请问一下现在KTRANSFORMERS支持的GGUF型号 #1154

New issue

Closed

opened 2026-10-29 14:49:19 +00:00 by bsakaguchi · 2 comments

bsakaguchi commented

2026-10-29 14:49:19 +00:00

Owner

Originally created by @tech112233445566 on GitHub (Feb 21, 2026).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/1856

Reminder

I have read the above rules and searched the existing issues.

System Info

UNSLOTH的UD量化支持吗？
特殊量化TQ1的gguf是否支持？
有时候下载unsloth的Q4 KM也报错

最近跑模型一直报这个错，我是下载的unsloth的量化模型，not a valid GGMLQuantization

Reproduction

Put your message here.

Others

No response

Originally created by @tech112233445566 on GitHub (Feb 21, 2026). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/1856 ### Reminder - [x] I have read the above rules and searched the existing issues. ### System Info UNSLOTH的UD量化支持吗？特殊量化TQ1的gguf是否支持？有时候下载unsloth的Q4 KM也报错最近跑模型一直报这个错，我是下载的unsloth的量化模型，not a valid GGMLQuantization ### Reproduction ```text Put your message here. ``` ### Others _No response_

bsakaguchi closed this issue

2026-10-29 14:49:19 +00:00

bsakaguchi commented

2026-10-29 14:49:21 +00:00

Author

Owner

@ErvinXie commented on GitHub (Feb 28, 2026):

KTransformers 目前支持标准的 GGUF 量化类型（如 Q4_K_M、Q5_K_M、Q6_K、Q8_0 等）。UNSLOTH 的 UD（Ultra Dynamic）量化和 TQ1 是非标准量化格式，目前不支持。

not a valid GGMLQuantization 错误说明 GGUF 文件中包含了无法识别的量化类型。建议下载标准格式的 GGUF 权重，避免使用 UNSLOTH 特有的量化格式。

另外，我们目前对 GGUF 格式的支持比较久远，难以保证所有模型和量化组合的兼容性。未来我们会推出 AWQ 量化格式的支持，届时会提供更可靠的低比特量化推理体验。

This reply was co-authored by an AI agent and a human.

@ErvinXie commented on GitHub (Feb 28, 2026): KTransformers 目前支持标准的 GGUF 量化类型（如 Q4_K_M、Q5_K_M、Q6_K、Q8_0 等）。UNSLOTH 的 UD（Ultra Dynamic）量化和 TQ1 是非标准量化格式，目前**不支持**。 `not a valid GGMLQuantization` 错误说明 GGUF 文件中包含了无法识别的量化类型。建议下载标准格式的 GGUF 权重，避免使用 UNSLOTH 特有的量化格式。另外，我们目前对 GGUF 格式的支持比较久远，难以保证所有模型和量化组合的兼容性。未来我们会推出 AWQ 量化格式的支持，届时会提供更可靠的低比特量化推理体验。 --- *This reply was co-authored by an AI agent and a human.*

bsakaguchi commented

2026-10-29 14:49:21 +00:00

Author

Owner

@ErvinXie commented on GitHub (Feb 28, 2026):

UNSLOTH UD/TQ1 等非标准 GGUF 量化格式不支持，建议使用标准格式（Q4_K_M 等）。未来将推出 AWQ 支持。关闭。

@ErvinXie commented on GitHub (Feb 28, 2026): UNSLOTH UD/TQ1 等非标准 GGUF 量化格式不支持，建议使用标准格式（Q4_K_M 等）。未来将推出 AWQ 支持。关闭。

bsakaguchi referenced this issue

2026-10-29 14:53:34 +00:00

[PR #1154] [MERGED] Fix the error caused by the client not passing temperature and top_p being empty #1570