kvcache-ai/ktransformers

Fork 0

mirror of https://github.com/kvcache-ai/ktransformers.git synced 2026-11-05 01:07:28 +00:00

[GH-ISSUE #1709] 希望能够适配 M2 大模型，这个模型的国内外热度都很高，到现在竟然没适配，有点奇怪 #1091

New issue

Closed

opened 2026-10-29 14:48:23 +00:00 by bsakaguchi · 9 comments

bsakaguchi commented

2026-10-29 14:48:23 +00:00

Owner

Originally created by @zisongpro0715 on GitHub (Dec 11, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/1709

Originally assigned to: @KMSorSMS on GitHub.

Reminder

I have read the above rules and searched the existing issues.

Description

如题。那说 ktransformers 肯定会优先适配国产大模型，以 M2 的热度，还真有适配的价值。
而且 M2 的总参数和激活参数都小很多，用 ktransformers 应该是更适合本地部署的。
希望能够采纳！谢谢！

Pull Request

No response

Originally created by @zisongpro0715 on GitHub (Dec 11, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/1709 Originally assigned to: @KMSorSMS on GitHub. ### Reminder - [x] I have read the above rules and searched the existing issues. ### Description 如题。那说 ktransformers 肯定会优先适配国产大模型，以 M2 的热度，还真有适配的价值。而且 M2 的总参数和激活参数都小很多，用 ktransformers 应该是更适合本地部署的。希望能够采纳！谢谢！ ### Pull Request _No response_

bsakaguchi

2026-10-29 14:48:23 +00:00

closed this issue
added the
enhancement
label

bsakaguchi commented

2026-10-29 14:48:24 +00:00

Author

Owner

@ErvinXie commented on GitHub (Dec 11, 2025):

感谢提醒，我们去调研一下。

@ErvinXie commented on GitHub (Dec 11, 2025): 感谢提醒，我们去调研一下。

bsakaguchi commented

2026-10-29 14:48:24 +00:00

Author

Owner

@zisongpro0715 commented on GitHub (Dec 11, 2025):

M2 在 huggingface 上的下载量超级高，也有大量的量化模型适配。在 https://openrouter.ai/rankings 也能看到其热度，而且有两项比 glm4.6 的还高。我自己实测，直接可以平替 K2-0905，这是在 K2-thinking 出来之前我最喜欢的模型。看到你们联合智谱 glm4.5-air-nvfp4 在京东推出 dgx spark ，所以就比较留意总参数和激活量都最小的 M2，这个模型真的不错。（https://huggingface.co/bartowski/cerebras_MiniMax-M2-REAP-162B-A10B-GGUF) ，这是近乎性能无损且不改变模型结构的无损剪枝模型，我想的是如果ktransformers 适配了 M2，用剪枝量化Q4 版本，100G 的总体量就能本地部署，我的显存是32G，内存的压力就70G左右，对cpu压力也小，而且能力不逊于 glm4.6 和k2-0905，美滋滋啊，哈哈哈哈 @ErvinXie

@zisongpro0715 commented on GitHub (Dec 11, 2025): M2 在 huggingface 上的下载量超级高，也有大量的量化模型适配。在 https://openrouter.ai/rankings 也能看到其热度，而且有两项比 glm4.6 的还高。我自己实测，直接可以平替 K2-0905，这是在 K2-thinking 出来之前我最喜欢的模型。看到你们联合智谱 glm4.5-air-nvfp4 在京东推出 dgx spark ，所以就比较留意总参数和激活量都最小的 M2，这个模型真的不错。（https://huggingface.co/bartowski/cerebras_MiniMax-M2-REAP-162B-A10B-GGUF) ，这是近乎性能无损且不改变模型结构的无损剪枝模型，我想的是如果ktransformers 适配了 M2，用剪枝量化Q4 版本，100G 的总体量就能本地部署，我的显存是32G，内存的压力就70G左右，对cpu压力也小，而且能力不逊于 glm4.6 和k2-0905，美滋滋啊，哈哈哈哈 @ErvinXie

bsakaguchi commented

2026-10-29 14:48:25 +00:00

Author

Owner

@ErvinXie commented on GitHub (Dec 16, 2025):

M2 使用的是 fp8，我们正在进行 fp8 原精度的适配，做好之后道理上讲 m2 就适配了

@ErvinXie commented on GitHub (Dec 16, 2025): M2 使用的是 fp8，我们正在进行 fp8 原精度的适配，做好之后道理上讲 m2 就适配了

bsakaguchi commented

2026-10-29 14:48:25 +00:00

Author

Owner

@zisongpro0715 commented on GitHub (Dec 16, 2025):

@ErvinXie 牛逼，ktransformers 后续要支持 fp8格式了吗，作为伸手党就坐等版本更新了哈。对了， M2.1 这个月就推出来了，据说 glm5.0 年底也要出，这个月热闹了~~~~

@zisongpro0715 commented on GitHub (Dec 16, 2025): @ErvinXie 牛逼，ktransformers 后续要支持 fp8格式了吗，作为伸手党就坐等版本更新了哈。对了， M2.1 这个月就推出来了，据说 glm5.0 年底也要出，这个月热闹了~~~~

bsakaguchi commented

2026-10-29 14:48:25 +00:00

Author

Owner

@ErvinXie commented on GitHub (Dec 16, 2025):

@ErvinXie 牛逼，ktransformers 后续要支持 fp8格式了吗，作为伸手党就坐等版本更新了哈。对了， M2.1 这个月就推出来了，据说 glm5.0 年底也要出，这个月热闹了~~~~

可以加我微信我拉你进我们的核心用户群，到时候多给我们提提反馈，微信和 githubid 一样。

@ErvinXie commented on GitHub (Dec 16, 2025): > [@ErvinXie](https://github.com/ErvinXie) 牛逼，ktransformers 后续要支持 fp8格式了吗，作为伸手党就坐等版本更新了哈。对了， M2.1 这个月就推出来了，据说 glm5.0 年底也要出，这个月热闹了~~~~ 可以加我微信我拉你进我们的核心用户群，到时候多给我们提提反馈，微信和 githubid 一样。

bsakaguchi commented

2026-10-29 14:48:25 +00:00

Author

Owner

@shrould8888 commented on GitHub (Dec 20, 2025):

还是觉得Deepseek V.32文章输出最高质素， M2还是头一次听，还以为是芯片

@shrould8888 commented on GitHub (Dec 20, 2025): 还是觉得Deepseek V.32文章输出最高质素， M2还是头一次听，还以为是芯片

bsakaguchi commented

2026-10-29 14:48:25 +00:00

Author

Owner

@zisongpro0715 commented on GitHub (Dec 21, 2025):

@shrould8888 多关注下 huggingface 和 openrouter ，以及各种视频评测，你会知道 M2 和 glm4.6 K2-0905 deepseek 这些是同一水准的模型。

@zisongpro0715 commented on GitHub (Dec 21, 2025): @shrould8888 多关注下 huggingface 和 openrouter ，以及各种视频评测，你会知道 M2 和 glm4.6 K2-0905 deepseek 这些是同一水准的模型。

bsakaguchi commented

2026-10-29 14:48:25 +00:00

Author

Owner

@ErvinXie commented on GitHub (Dec 24, 2025):

M2 is already supported, please refer to our new released version 0.5.0! This is quite a big update, and we achieved 4000tps prefill tps with 2 5090!

@ErvinXie commented on GitHub (Dec 24, 2025): M2 is already supported, please refer to our new released version 0.5.0! This is quite a big update, and we achieved 4000tps prefill tps with 2 5090!

bsakaguchi commented

2026-10-29 14:48:25 +00:00

Author

Owner

@zisongpro0715 commented on GitHub (Dec 24, 2025):

@ErvinXie o(￣▽￣)ｄ牛逼！！！！

@zisongpro0715 commented on GitHub (Dec 24, 2025): @ErvinXie o(￣▽￣)ｄ牛逼！！！！

bsakaguchi referenced this issue

2026-10-29 14:53:27 +00:00

[PR #1091] [MERGED] balance_serve: Add g++ to compiler list #1555