kvcache-ai/ktransformers
1
0
Fork 0
mirror of https://github.com/kvcache-ai/ktransformers.git synced 2026-11-05 01:07:28 +00:00
Code Issues 469 Projects Packages Wiki Activity

[GH-ISSUE #150] 再次提一下，能否支持2080ti #87

New issue
Open
opened 2026-10-29 14:33:53 +00:00 by bsakaguchi · 44 comments
bsakaguchi commented 2026-10-29 14:33:53 +00:00
Owner
Copy link

Originally created by @bltcn on GitHub (Feb 12, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/150

我看这篇https://github.com/kvcache-ai/ktransformers/issues/138里面有人说可以通过修改配置支持，请问是可行的嘛，谢谢

Originally created by @bltcn on GitHub (Feb 12, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/150 我看这篇https://github.com/kvcache-ai/ktransformers/issues/138里面有人说可以通过修改配置支持，请问是可行的嘛，谢谢
bsakaguchi commented 2026-10-29 14:33:53 +00:00
Author
Owner
Copy link

@KMSorSMS commented on GitHub (Feb 12, 2025):

我看这篇https://github.com/kvcache-ai/ktransformers/issues/138里面有人说可以通过修改配置支持，请问是可行的嘛，谢谢

把yaml里面，这里 的KLinearMarlin换成KLinearTorch就可以了 (不过显存的需求就会增加，因为没有marlin的优化了)

<!-- gh-comment-id:2652643883 --> @KMSorSMS commented on GitHub (Feb 12, 2025): > 我看这篇[https://github.com/kvcache-ai/ktransformers/issues/138里面有人说可以通过修改配置支持，请问是可行的嘛，谢谢](https://github.com/kvcache-ai/ktransformers/issues/138%E9%87%8C%E9%9D%A2%E6%9C%89%E4%BA%BA%E8%AF%B4%E5%8F%AF%E4%BB%A5%E9%80%9A%E8%BF%87%E4%BF%AE%E6%94%B9%E9%85%8D%E7%BD%AE%E6%94%AF%E6%8C%81%EF%BC%8C%E8%AF%B7%E9%97%AE%E6%98%AF%E5%8F%AF%E8%A1%8C%E7%9A%84%E5%98%9B%EF%BC%8C%E8%B0%A2%E8%B0%A2) 把yaml里面，[这里](https://github.com/kvcache-ai/ktransformers/blob/main/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu.yaml) 的KLinearMarlin换成KLinearTorch就可以了 (不过显存的需求就会增加，因为没有marlin的优化了)
bsakaguchi commented 2026-10-29 14:33:54 +00:00
Author
Owner
Copy link

@KMSorSMS commented on GitHub (Feb 12, 2025):

需要多少张2080Ti?
跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据

<!-- gh-comment-id:2652936095 --> @KMSorSMS commented on GitHub (Feb 12, 2025): > 需要多少张2080Ti? 跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据
bsakaguchi commented 2026-10-29 14:33:54 +00:00
Author
Owner
Copy link

@BiFangKNT commented on GitHub (Feb 12, 2025):

需要多少张2080Ti?
跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据

2080ti要四张？那3090能跑Marlin吗？一张可以吗？

<!-- gh-comment-id:2653900301 --> @BiFangKNT commented on GitHub (Feb 12, 2025): > > 需要多少张2080Ti? > > 跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据 2080ti要四张？那3090能跑Marlin吗？一张可以吗？
bsakaguchi commented 2026-10-29 14:33:54 +00:00
Author
Owner
Copy link

@Azure-Tang commented on GitHub (Feb 12, 2025):

需要多少张2080Ti?
跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据

2080ti要四张？那3090能跑Marlin吗？一张可以吗？

30系列可以支持marlin算子。一张24GB的3090就足够了

<!-- gh-comment-id:2654069546 --> @Azure-Tang commented on GitHub (Feb 12, 2025): > > > 需要多少张2080Ti? > > > 跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据 > > 2080ti要四张？那3090能跑Marlin吗？一张可以吗？ 30系列可以支持marlin算子。一张24GB的3090就足够了
bsakaguchi commented 2026-10-29 14:33:54 +00:00
Author
Owner
Copy link

@BiFangKNT commented on GitHub (Feb 12, 2025):

需要多少张2080Ti?
跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据

2080ti要四张？那3090能跑Marlin吗？一张可以吗？

30系列可以支持marlin算子。一张24GB的3090就足够了

不过我看你们的案例里好像说显存只占用14g诶，那不是16g也行吗？比如4070tis？

<!-- gh-comment-id:2654084104 --> @BiFangKNT commented on GitHub (Feb 12, 2025): > > > > 需要多少张2080Ti? > > > > 跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据 > > > > > > 2080ti要四张？那3090能跑Marlin吗？一张可以吗？ > > 30系列可以支持marlin算子。一张24GB的3090就足够了 不过我看你们的案例里好像说显存只占用14g诶，那不是16g也行吗？比如4070tis？
bsakaguchi commented 2026-10-29 14:33:54 +00:00
Author
Owner
Copy link

@KMSorSMS commented on GitHub (Feb 12, 2025):

需要多少张2080Ti?
跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据

2080ti要四张？那3090能跑Marlin吗？一张可以吗？

30系列可以支持marlin算子。一张24GB的3090就足够了

不过我看你们的案例里好像说显存只占用14g诶，那不是16g也行吗？比如4070tis？

那需要marlin算子进行量化压缩 但是marlin不支持2080ti

<!-- gh-comment-id:2654126935 --> @KMSorSMS commented on GitHub (Feb 12, 2025): > > > > > 需要多少张2080Ti? > > > > > 跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据 > > > > > > > > > 2080ti要四张？那3090能跑Marlin吗？一张可以吗？ > > > > 30系列可以支持marlin算子。一张24GB的3090就足够了 > > 不过我看你们的案例里好像说显存只占用14g诶，那不是16g也行吗？比如4070tis？ 那需要marlin算子进行量化压缩 但是marlin不支持2080ti
bsakaguchi commented 2026-10-29 14:33:55 +00:00
Author
Owner
Copy link

@BiFangKNT commented on GitHub (Feb 12, 2025):

需要多少张2080Ti?
跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据

2080ti要四张？那3090能跑Marlin吗？一张可以吗？

30系列可以支持marlin算子。一张24GB的3090就足够了

不过我看你们的案例里好像说显存只占用14g诶，那不是16g也行吗？比如4070tis？

那需要marlin算子进行量化压缩 但是marlin不支持2080ti

那是否意味着4070tis支持？另外我在案例里似乎没看到有进行marlin量化设置，是需要进行额外配置吗？

<!-- gh-comment-id:2654156837 --> @BiFangKNT commented on GitHub (Feb 12, 2025): > > > > > > 需要多少张2080Ti? > > > > > > 跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据 > > > > > > > > > > > > 2080ti要四张？那3090能跑Marlin吗？一张可以吗？ > > > > > > > > > 30系列可以支持marlin算子。一张24GB的3090就足够了 > > > > > > 不过我看你们的案例里好像说显存只占用14g诶，那不是16g也行吗？比如4070tis？ > > 那需要marlin算子进行量化压缩 但是marlin不支持2080ti 那是否意味着4070tis支持？另外我在案例里似乎没看到有进行marlin量化设置，是需要进行额外配置吗？
bsakaguchi commented 2026-10-29 14:33:55 +00:00
Author
Owner
Copy link

@BiFangKNT commented on GitHub (Feb 12, 2025):

@KMSorSMS 另外我想问问，--max_new_tokens这项参数指的是单次回答的最大tokens数吗？reasoning_content和content应该是分别独立计算的吧？

<!-- gh-comment-id:2654165638 --> @BiFangKNT commented on GitHub (Feb 12, 2025): @KMSorSMS 另外我想问问，`--max_new_tokens`这项参数指的是单次回答的最大tokens数吗？`reasoning_content`和`content`应该是分别独立计算的吧？
bsakaguchi commented 2026-10-29 14:33:55 +00:00
Author
Owner
Copy link

@KMSorSMS commented on GitHub (Feb 12, 2025):

@KMSorSMS 另外我想问问，--max_new_tokens这项参数指的是单次回答的最大tokens数吗？reasoning_content和content应该是分别独立计算的吧？

对的，--max_new_tokens这项参数指的是单次回答的最大tokens数。reasoning_content和content在我们这边应该是合在一起算的，都算在输出里面（作为max_new_tokens)的长度

<!-- gh-comment-id:2654204186 --> @KMSorSMS commented on GitHub (Feb 12, 2025): > [@KMSorSMS](https://github.com/KMSorSMS) 另外我想问问，`--max_new_tokens`这项参数指的是单次回答的最大tokens数吗？`reasoning_content`和`content`应该是分别独立计算的吧？ 对的，--max_new_tokens这项参数指的是单次回答的最大tokens数。reasoning_content和content在我们这边应该是合在一起算的，都算在输出里面（作为max_new_tokens)的长度
bsakaguchi commented 2026-10-29 14:33:55 +00:00
Author
Owner
Copy link

@KMSorSMS commented on GitHub (Feb 12, 2025):

需要多少张2080Ti?
跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据

2080ti要四张？那3090能跑Marlin吗？一张可以吗？

30系列可以支持marlin算子。一张24GB的3090就足够了

不过我看你们的案例里好像说显存只占用14g诶，那不是16g也行吗？比如4070tis？

那需要marlin算子进行量化压缩 但是marlin不支持2080ti

那是否意味着4070tis支持？另外我在案例里似乎没看到有进行marlin量化设置，是需要进行额外配置吗？

不需要，是在optimize的yaml文件，你可以看这里

<!-- gh-comment-id:2654207868 --> @KMSorSMS commented on GitHub (Feb 12, 2025): > > > > > > > 需要多少张2080Ti? > > > > > > > 跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据 > > > > > > > > > > > > > > > 2080ti要四张？那3090能跑Marlin吗？一张可以吗？ > > > > > > > > > > > > 30系列可以支持marlin算子。一张24GB的3090就足够了 > > > > > > > > > 不过我看你们的案例里好像说显存只占用14g诶，那不是16g也行吗？比如4070tis？ > > > > > > 那需要marlin算子进行量化压缩 但是marlin不支持2080ti > > 那是否意味着4070tis支持？另外我在案例里似乎没看到有进行marlin量化设置，是需要进行额外配置吗？ 不需要，是在optimize的yaml文件，你可以看[这里](https://github.com/kvcache-ai/ktransformers/tree/main/ktransformers/optimize/optimize_rules)
bsakaguchi commented 2026-10-29 14:33:55 +00:00
Author
Owner
Copy link

@bluewowo commented on GitHub (Feb 13, 2025):

需要多少张2080Ti?
跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据

2080ti要四张？那3090能跑Marlin吗？一张可以吗？

30系列可以支持marlin算子。一张24GB的3090就足够了

不过我看你们的案例里好像说显存只占用14g诶，那不是16g也行吗？比如4070tis？

那需要marlin算子进行量化压缩 但是marlin不支持2080ti

那是否意味着4070tis支持？另外我在案例里似乎没看到有进行marlin量化设置，是需要进行额外配置吗？

不需要，是在optimize的yaml文件，你可以看这里

您说的是4张11G显存的2080ti吧？如果是魔改22G显存的2080ti，是不是只要2张就够了？

<!-- gh-comment-id:2655959056 --> @bluewowo commented on GitHub (Feb 13, 2025): > > > > > > > > 需要多少张2080Ti? > > > > > > > > 跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据 > > > > > > > > > > > > > > > > > > 2080ti要四张？那3090能跑Marlin吗？一张可以吗？ > > > > > > > > > > > > > > > 30系列可以支持marlin算子。一张24GB的3090就足够了 > > > > > > > > > > > > 不过我看你们的案例里好像说显存只占用14g诶，那不是16g也行吗？比如4070tis？ > > > > > > > > > 那需要marlin算子进行量化压缩 但是marlin不支持2080ti > > > > > > 那是否意味着4070tis支持？另外我在案例里似乎没看到有进行marlin量化设置，是需要进行额外配置吗？ > > 不需要，是在optimize的yaml文件，你可以看[这里](https://github.com/kvcache-ai/ktransformers/tree/main/ktransformers/optimize/optimize_rules) 您说的是4张11G显存的2080ti吧？如果是魔改22G显存的2080ti，是不是只要2张就够了？
bsakaguchi commented 2026-10-29 14:33:55 +00:00
Author
Owner
Copy link

@BiFangKNT commented on GitHub (Feb 13, 2025):

需要多少张2080Ti?
跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据

2080ti要四张？那3090能跑Marlin吗？一张可以吗？

30系列可以支持marlin算子。一张24GB的3090就足够了

不过我看你们的案例里好像说显存只占用14g诶，那不是16g也行吗？比如4070tis？

那需要marlin算子进行量化压缩 但是marlin不支持2080ti

那是否意味着4070tis支持？另外我在案例里似乎没看到有进行marlin量化设置，是需要进行额外配置吗？

不需要，是在optimize的yaml文件，你可以看这里

您说的是4张11G显存的2080ti吧？如果是魔改22G显存的2080ti，是不是只要2张就够了？

上面讲过了，不能，因为20系不支持marlin

<!-- gh-comment-id:2656262569 --> @BiFangKNT commented on GitHub (Feb 13, 2025): > > > > > > > > > 需要多少张2080Ti? > > > > > > > > > 跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据 > > > > > > > > > > > > > > > > > > > > > 2080ti要四张？那3090能跑Marlin吗？一张可以吗？ > > > > > > > > > > > > > > > > > > 30系列可以支持marlin算子。一张24GB的3090就足够了 > > > > > > > > > > > > > > > 不过我看你们的案例里好像说显存只占用14g诶，那不是16g也行吗？比如4070tis？ > > > > > > > > > > > > 那需要marlin算子进行量化压缩 但是marlin不支持2080ti > > > > > > > > > 那是否意味着4070tis支持？另外我在案例里似乎没看到有进行marlin量化设置，是需要进行额外配置吗？ > > > > > > 不需要，是在optimize的yaml文件，你可以看[这里](https://github.com/kvcache-ai/ktransformers/tree/main/ktransformers/optimize/optimize_rules) > > 您说的是4张11G显存的2080ti吧？如果是魔改22G显存的2080ti，是不是只要2张就够了？ 上面讲过了，不能，因为20系不支持marlin
bsakaguchi commented 2026-10-29 14:33:55 +00:00
Author
Owner
Copy link

@bluewowo commented on GitHub (Feb 13, 2025):

需要多少张2080Ti?
跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据

2080ti要四张？那3090能跑Marlin吗？一张可以吗？

30系列可以支持marlin算子。一张24GB的3090就足够了

不过我看你们的案例里好像说显存只占用14g诶，那不是16g也行吗？比如4070tis？

那需要marlin算子进行量化压缩 但是marlin不支持2080ti

那是否意味着4070tis支持？另外我在案例里似乎没看到有进行marlin量化设置，是需要进行额外配置吗？

不需要，是在optimize的yaml文件，你可以看这里

您说的是4张11G显存的2080ti吧？如果是魔改22G显存的2080ti，是不是只要2张就够了？

上面讲过了，不能，因为20系不支持marlin
我的理解是不支持marlin只是显存需求增大，不是运行不了。所以我想知道这里说的2080ti是指11G还是22G

<!-- gh-comment-id:2656488916 --> @bluewowo commented on GitHub (Feb 13, 2025): > > > > > > > > > > 需要多少张2080Ti? > > > > > > > > > > 跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据 > > > > > > > > > > > > > > > > > > > > > > > > 2080ti要四张？那3090能跑Marlin吗？一张可以吗？ > > > > > > > > > > > > > > > > > > > > > 30系列可以支持marlin算子。一张24GB的3090就足够了 > > > > > > > > > > > > > > > > > > 不过我看你们的案例里好像说显存只占用14g诶，那不是16g也行吗？比如4070tis？ > > > > > > > > > > > > > > > 那需要marlin算子进行量化压缩 但是marlin不支持2080ti > > > > > > > > > > > > 那是否意味着4070tis支持？另外我在案例里似乎没看到有进行marlin量化设置，是需要进行额外配置吗？ > > > > > > > > > 不需要，是在optimize的yaml文件，你可以看[这里](https://github.com/kvcache-ai/ktransformers/tree/main/ktransformers/optimize/optimize_rules) > > > > > > 您说的是4张11G显存的2080ti吧？如果是魔改22G显存的2080ti，是不是只要2张就够了？ > > 上面讲过了，不能，因为20系不支持marlin 我的理解是不支持marlin只是显存需求增大，不是运行不了。所以我想知道这里说的2080ti是指11G还是22G
bsakaguchi commented 2026-10-29 14:33:55 +00:00
Author
Owner
Copy link

@lulu2048 commented on GitHub (Feb 13, 2025):

需要多少张2080Ti?
跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据

deepseek-R1原生是fp8，从q4反量化到fp8，显存需求增大一倍，显存占用从14G增加到28G吗？

<!-- gh-comment-id:2657676393 --> @lulu2048 commented on GitHub (Feb 13, 2025): > > 需要多少张2080Ti? > > 跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据 deepseek-R1原生是fp8，从q4反量化到fp8，显存需求增大一倍，显存占用从14G增加到28G吗？
bsakaguchi commented 2026-10-29 14:33:56 +00:00
Author
Owner
Copy link

@asmitalu commented on GitHub (Feb 14, 2025):

蹲一下，同样的问题

<!-- gh-comment-id:2659716567 --> @asmitalu commented on GitHub (Feb 14, 2025): 蹲一下，同样的问题
bsakaguchi commented 2026-10-29 14:33:56 +00:00
Author
Owner
Copy link

@lingfan commented on GitHub (Feb 16, 2025):

RuntimeError: FlashAttention only supports Ampere GPUs or newer 还得关闭 FlashAttention

<!-- gh-comment-id:2661410147 --> @lingfan commented on GitHub (Feb 16, 2025): RuntimeError: FlashAttention only supports Ampere GPUs or newer 还得关闭 FlashAttention
bsakaguchi commented 2026-10-29 14:33:56 +00:00
Author
Owner
Copy link

@Readon commented on GitHub (Feb 17, 2025):

我在0.2.0基础上更新了一下，可以在2080Ti上用。这里是代码
使用方法可以看下 #282

<!-- gh-comment-id:2662075900 --> @Readon commented on GitHub (Feb 17, 2025): 我在0.2.0基础上更新了一下，可以在2080Ti上用。[这里是代码](https://github.com/Readon/ktransformers/tree/2080Ti) 使用方法可以看下 #282
bsakaguchi commented 2026-10-29 14:33:56 +00:00
Author
Owner
Copy link

@lulu2048 commented on GitHub (Feb 19, 2025):

我在0.2.0基础上更新了一下，可以在2080Ti上用。这里是代码 使用方法可以看下 #282

实测2080TI 22G会占用多大显存？

<!-- gh-comment-id:2667709050 --> @lulu2048 commented on GitHub (Feb 19, 2025): > 我在0.2.0基础上更新了一下，可以在2080Ti上用。[这里是代码](https://github.com/Readon/ktransformers/tree/2080Ti) 使用方法可以看下 [#282](https://github.com/kvcache-ai/ktransformers/issues/282) 实测2080TI 22G会占用多大显存？
bsakaguchi commented 2026-10-29 14:33:56 +00:00
Author
Owner
Copy link

@Pyjacc commented on GitHub (Feb 19, 2025):

RuntimeError: FlashAttention only supports Ampere GPUs or newer 还得关闭 FlashAttention

请问如何关闭FlashAttention呢？

<!-- gh-comment-id:2667800694 --> @Pyjacc commented on GitHub (Feb 19, 2025): > RuntimeError: FlashAttention only supports Ampere GPUs or newer 还得关闭 FlashAttention 请问如何关闭FlashAttention呢？
bsakaguchi commented 2026-10-29 14:33:56 +00:00
Author
Owner
Copy link

@Readon commented on GitHub (Feb 19, 2025):

可以的

---原始邮件---
发件人: "Billions of @.>
发送时间: 2025年2月19日(周三) 晚上6:29
收件人: @.>;
抄送: @.@.>;
主题: Re: [kvcache-ai/ktransformers] 再次提一下，能否支持2080ti (Issue #150)

KLinearTorch

有跑通过的吗？

—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you commented.Message ID: @.***>
redyuan43 left a comment (kvcache-ai/ktransformers#150)

KLinearTorch

有跑通过的吗？

—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you commented.Message ID: @.***>

<!-- gh-comment-id:2668218819 --> @Readon commented on GitHub (Feb 19, 2025): 可以的 ---原始邮件--- 发件人: "Billions of ***@***.***&gt; 发送时间: 2025年2月19日(周三) 晚上6:29 收件人: ***@***.***&gt;; 抄送: ***@***.******@***.***&gt;; 主题: Re: [kvcache-ai/ktransformers] 再次提一下，能否支持2080ti (Issue #150) KLinearTorch 有跑通过的吗？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***&gt; redyuan43 left a comment (kvcache-ai/ktransformers#150) KLinearTorch 有跑通过的吗？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***&gt;
bsakaguchi commented 2026-10-29 14:33:56 +00:00
Author
Owner
Copy link

@redyuan43 commented on GitHub (Feb 19, 2025):

RuntimeError: FlashAttention only supports Ampere GPUs or newer 还得关闭 FlashAttentionRuntimeError：闪存仅支持Ampere GPU或更新的还得关闭

请问如何关闭FlashAttention呢？

同问？

<!-- gh-comment-id:2668819938 --> @redyuan43 commented on GitHub (Feb 19, 2025): > > RuntimeError: FlashAttention only supports Ampere GPUs or newer 还得关闭 FlashAttentionRuntimeError：闪存仅支持Ampere GPU或更新的还得关闭 > > 请问如何关闭FlashAttention呢？ 同问？
bsakaguchi commented 2026-10-29 14:33:56 +00:00
Author
Owner
Copy link

@shaofanqi commented on GitHub (Feb 21, 2025):

RuntimeError: FlashAttention only supports Ampere GPUs or newer 还得关闭 FlashAttention

我也是，请问怎么关闭flashAttention呀

<!-- gh-comment-id:2673920977 --> @shaofanqi commented on GitHub (Feb 21, 2025): > RuntimeError: FlashAttention only supports Ampere GPUs or newer 还得关闭 FlashAttention 我也是，请问怎么关闭flashAttention呀
bsakaguchi commented 2026-10-29 14:33:56 +00:00
Author
Owner
Copy link

@gobirdiego commented on GitHub (Feb 22, 2025):

我看这篇https://github.com/kvcache-ai/ktransformers/issues/138里面有人说可以通过修改配置支持，请问是可行的嘛，谢谢

把yaml里面，这里 的KLinearMarlin换成KLinearTorch就可以了 (不过显存的需求就会增加，因为没有marlin的优化了)

请问要把optimize里所有的yaml文件里面的的KLinearMarlin换成KLinearTorch么

<!-- gh-comment-id:2676184691 --> @gobirdiego commented on GitHub (Feb 22, 2025): > > 我看这篇[https://github.com/kvcache-ai/ktransformers/issues/138里面有人说可以通过修改配置支持，请问是可行的嘛，谢谢](https://github.com/kvcache-ai/ktransformers/issues/138%E9%87%8C%E9%9D%A2%E6%9C%89%E4%BA%BA%E8%AF%B4%E5%8F%AF%E4%BB%A5%E9%80%9A%E8%BF%87%E4%BF%AE%E6%94%B9%E9%85%8D%E7%BD%AE%E6%94%AF%E6%8C%81%EF%BC%8C%E8%AF%B7%E9%97%AE%E6%98%AF%E5%8F%AF%E8%A1%8C%E7%9A%84%E5%98%9B%EF%BC%8C%E8%B0%A2%E8%B0%A2) > > 把yaml里面，[这里](https://github.com/kvcache-ai/ktransformers/blob/main/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu.yaml) 的KLinearMarlin换成KLinearTorch就可以了 (不过显存的需求就会增加，因为没有marlin的优化了) 请问要把optimize里所有的yaml文件里面的的KLinearMarlin换成KLinearTorch么
bsakaguchi commented 2026-10-29 14:33:57 +00:00
Author
Owner
Copy link

@Readon commented on GitHub (Feb 22, 2025):

我看这篇https://github.com/kvcache-ai/ktransformers/issues/138里面有人说可以通过修改配置支持，请问是可行的嘛，谢谢

把yaml里面，这里 的KLinearMarlin换成KLinearTorch就可以了 (不过显存的需求就会增加，因为没有marlin的优化了)

请问要把optimize里所有的yaml文件里面的的KLinearMarlin换成KLinearTorch么

所有

<!-- gh-comment-id:2676191224 --> @Readon commented on GitHub (Feb 22, 2025): > > > 我看这篇[https://github.com/kvcache-ai/ktransformers/issues/138里面有人说可以通过修改配置支持，请问是可行的嘛，谢谢](https://github.com/kvcache-ai/ktransformers/issues/138%E9%87%8C%E9%9D%A2%E6%9C%89%E4%BA%BA%E8%AF%B4%E5%8F%AF%E4%BB%A5%E9%80%9A%E8%BF%87%E4%BF%AE%E6%94%B9%E9%85%8D%E7%BD%AE%E6%94%AF%E6%8C%81%EF%BC%8C%E8%AF%B7%E9%97%AE%E6%98%AF%E5%8F%AF%E8%A1%8C%E7%9A%84%E5%98%9B%EF%BC%8C%E8%B0%A2%E8%B0%A2) > > > > > > 把yaml里面，[这里](https://github.com/kvcache-ai/ktransformers/blob/main/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu.yaml) 的KLinearMarlin换成KLinearTorch就可以了 (不过显存的需求就会增加，因为没有marlin的优化了) > > 请问要把optimize里所有的yaml文件里面的的KLinearMarlin换成KLinearTorch么 所有
bsakaguchi commented 2026-10-29 14:33:57 +00:00
Author
Owner
Copy link

@gobirdiego commented on GitHub (Feb 22, 2025):

我看这篇https://github.com/kvcache-ai/ktransformers/issues/138里面有人说可以通过修改配置支持，请问是可行的嘛，谢谢

把yaml里面，这里 的KLinearMarlin换成KLinearTorch就可以了 (不过显存的需求就会增加，因为没有marlin的优化了)

请问要把optimize里所有的yaml文件里面的的KLinearMarlin换成KLinearTorch么

所有

感谢！

<!-- gh-comment-id:2676195423 --> @gobirdiego commented on GitHub (Feb 22, 2025): > > > > 我看这篇[https://github.com/kvcache-ai/ktransformers/issues/138里面有人说可以通过修改配置支持，请问是可行的嘛，谢谢](https://github.com/kvcache-ai/ktransformers/issues/138%E9%87%8C%E9%9D%A2%E6%9C%89%E4%BA%BA%E8%AF%B4%E5%8F%AF%E4%BB%A5%E9%80%9A%E8%BF%87%E4%BF%AE%E6%94%B9%E9%85%8D%E7%BD%AE%E6%94%AF%E6%8C%81%EF%BC%8C%E8%AF%B7%E9%97%AE%E6%98%AF%E5%8F%AF%E8%A1%8C%E7%9A%84%E5%98%9B%EF%BC%8C%E8%B0%A2%E8%B0%A2) > > > > > > > > > 把yaml里面，[这里](https://github.com/kvcache-ai/ktransformers/blob/main/ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu.yaml) 的KLinearMarlin换成KLinearTorch就可以了 (不过显存的需求就会增加，因为没有marlin的优化了) > > > > > > 请问要把optimize里所有的yaml文件里面的的KLinearMarlin换成KLinearTorch么 > > 所有 感谢！
bsakaguchi commented 2026-10-29 14:33:57 +00:00
Author
Owner
Copy link

@363843342 commented on GitHub (Feb 25, 2025):

RuntimeError: FlashAttention only supports Ampere GPUs or newer 还得关闭 FlashAttention

我也是，请问怎么关闭flashAttention呀

RuntimeError: FlashAttention only supports Ampere GPUs or newer 还得关闭 FlashAttentionRuntimeError：闪存仅支持Ampere GPU或更新的还得关闭

请问如何关闭FlashAttention呢？

同问？

RuntimeError: FlashAttention only supports Ampere GPUs or newer 还得关闭 FlashAttention

flash-attn 2不再支持20系卡，可能安装老版本flash-attn 1.0.9可以解决？

<!-- gh-comment-id:2683281948 --> @363843342 commented on GitHub (Feb 25, 2025): > > RuntimeError: FlashAttention only supports Ampere GPUs or newer 还得关闭 FlashAttention > > 我也是，请问怎么关闭flashAttention呀 > > > RuntimeError: FlashAttention only supports Ampere GPUs or newer 还得关闭 FlashAttentionRuntimeError：闪存仅支持Ampere GPU或更新的还得关闭 > > > > > > 请问如何关闭FlashAttention呢？ > > 同问？ > RuntimeError: FlashAttention only supports Ampere GPUs or newer 还得关闭 FlashAttention flash-attn 2不再支持20系卡，可能安装老版本flash-attn 1.0.9可以解决？
bsakaguchi commented 2026-10-29 14:33:57 +00:00
Author
Owner
Copy link

@uavfly commented on GitHub (Feb 26, 2025):

我现在2*V100 16G PCIE换成KLinearTorch后会OOM，之前单卡用KLinearMarlin也就占用12G显存，但是KLinearMarlin还不支持老架构...

<!-- gh-comment-id:2683892020 --> @uavfly commented on GitHub (Feb 26, 2025): 我现在2*V100 16G PCIE换成KLinearTorch后会OOM，之前单卡用KLinearMarlin也就占用12G显存，但是KLinearMarlin还不支持老架构...
bsakaguchi commented 2026-10-29 14:33:57 +00:00
Author
Owner
Copy link

@363843342 commented on GitHub (Feb 26, 2025):

我现在2*V100 16G PCIE换成KLinearTorch后会OOM，之前单卡用KLinearMarlin也就占用12G显存，但是KLinearMarlin还不支持老架构...

OOM是能运行还是不能运行？这边是更老的p100不知道能不能绕过flash attention，因为flash attention从来没支持过20系之前的卡

<!-- gh-comment-id:2683896807 --> @363843342 commented on GitHub (Feb 26, 2025): > 我现在2*V100 16G PCIE换成KLinearTorch后会OOM，之前单卡用KLinearMarlin也就占用12G显存，但是KLinearMarlin还不支持老架构... OOM是能运行还是不能运行？这边是更老的p100不知道能不能绕过flash attention，因为flash attention从来没支持过20系之前的卡
bsakaguchi commented 2026-10-29 14:33:57 +00:00
Author
Owner
Copy link

@uavfly commented on GitHub (Feb 26, 2025):

我现在2*V100 16G PCIE换成KLinearTorch后会OOM，之前单卡用KLinearMarlin也就占用12G显存，但是KLinearMarlin还不支持老架构...

OOM是能运行还是不能运行？这边是更老的p100不知道能不能绕过flash attention，因为flash attention从来没支持过20系之前的卡

只能进入chat，看不出来是否能运行。v100的架构比图灵还老，应该也是不支持flash attention的。

<!-- gh-comment-id:2683918304 --> @uavfly commented on GitHub (Feb 26, 2025): > > 我现在2*V100 16G PCIE换成KLinearTorch后会OOM，之前单卡用KLinearMarlin也就占用12G显存，但是KLinearMarlin还不支持老架构... > > OOM是能运行还是不能运行？这边是更老的p100不知道能不能绕过flash attention，因为flash attention从来没支持过20系之前的卡 只能进入chat，看不出来是否能运行。v100的架构比图灵还老，应该也是不支持flash attention的。
bsakaguchi commented 2026-10-29 14:33:57 +00:00
Author
Owner
Copy link

@lulu2048 commented on GitHub (Feb 26, 2025):

我现在2*V100 16G PCIE换成KLinearTorch后会OOM，之前单卡用KLinearMarlin也就占用12G显存，但是KLinearMarlin还不支持老架构...

OOM是能运行还是不能运行？这边是更老的p100不知道能不能绕过flash attention，因为flash attention从来没支持过20系之前的卡

只能进入chat，看不出来是否能运行。v100的架构比图灵还老，应该也是不支持flash attention的。

--use_flash_attn false

<!-- gh-comment-id:2683922535 --> @lulu2048 commented on GitHub (Feb 26, 2025): > > > 我现在2*V100 16G PCIE换成KLinearTorch后会OOM，之前单卡用KLinearMarlin也就占用12G显存，但是KLinearMarlin还不支持老架构... > > > > > > OOM是能运行还是不能运行？这边是更老的p100不知道能不能绕过flash attention，因为flash attention从来没支持过20系之前的卡 > > 只能进入chat，看不出来是否能运行。v100的架构比图灵还老，应该也是不支持flash attention的。 --use_flash_attn false
bsakaguchi commented 2026-10-29 14:33:57 +00:00
Author
Owner
Copy link

@lulu2048 commented on GitHub (Feb 26, 2025):

我现在2*V100 16G PCIE换成KLinearTorch后会OOM，之前单卡用KLinearMarlin也就占用12G显存，但是KLinearMarlin还不支持老架构...
在加载模型tensor前增加一行清理显存的代码，不然显存刚好不够用：
https://zhuanlan.zhihu.com/p/25491611225

<!-- gh-comment-id:2683933392 --> @lulu2048 commented on GitHub (Feb 26, 2025): > 我现在2*V100 16G PCIE换成KLinearTorch后会OOM，之前单卡用KLinearMarlin也就占用12G显存，但是KLinearMarlin还不支持老架构... 在加载模型tensor前增加一行清理显存的代码，不然显存刚好不够用： https://zhuanlan.zhihu.com/p/25491611225
bsakaguchi commented 2026-10-29 14:33:57 +00:00
Author
Owner
Copy link

@uavfly commented on GitHub (Feb 26, 2025):

我现在2*V100 16G PCIE换成KLinearTorch后会OOM，之前单卡用KLinearMarlin也就占用12G显存，但是KLinearMarlin还不支持老架构...
在加载模型tensor前增加一行清理显存的代码，不然显存刚好不够用：
https://zhuanlan.zhihu.com/p/25491611225

这个pr已经被合并到主分支了，现在最新的代码已经包含了这句代码。

Image

<!-- gh-comment-id:2683958717 --> @uavfly commented on GitHub (Feb 26, 2025): > > 我现在2*V100 16G PCIE换成KLinearTorch后会OOM，之前单卡用KLinearMarlin也就占用12G显存，但是KLinearMarlin还不支持老架构... > > 在加载模型tensor前增加一行清理显存的代码，不然显存刚好不够用： > > https://zhuanlan.zhihu.com/p/25491611225 这个pr已经被合并到主分支了，现在最新的代码已经包含了这句代码。 ![Image](https://github.com/user-attachments/assets/d8c93411-f117-4e43-9253-9912a331ea1d)
bsakaguchi commented 2026-10-29 14:33:58 +00:00
Author
Owner
Copy link

@uavfly commented on GitHub (Feb 26, 2025):

我现在2*V100 16G PCIE换成KLinearTorch后会OOM，之前单卡用KLinearMarlin也就占用12G显存，但是KLinearMarlin还不支持老架构...

OOM是能运行还是不能运行？这边是更老的p100不知道能不能绕过flash attention，因为flash attention从来没支持过20系之前的卡

我使用4卡v100重新测试了一下，可以运行。

Image

<!-- gh-comment-id:2683959869 --> @uavfly commented on GitHub (Feb 26, 2025): > > 我现在2*V100 16G PCIE换成KLinearTorch后会OOM，之前单卡用KLinearMarlin也就占用12G显存，但是KLinearMarlin还不支持老架构... > > OOM是能运行还是不能运行？这边是更老的p100不知道能不能绕过flash attention，因为flash attention从来没支持过20系之前的卡 我使用4卡v100重新测试了一下，可以运行。 ![Image](https://github.com/user-attachments/assets/9069ca0f-9cf7-4bc0-aaa4-2e226324716f)
bsakaguchi commented 2026-10-29 14:33:58 +00:00
Author
Owner
Copy link

@lulu2048 commented on GitHub (Feb 26, 2025):

显存总占用多少

<!-- gh-comment-id:2683964270 --> @lulu2048 commented on GitHub (Feb 26, 2025): 显存总占用多少
bsakaguchi commented 2026-10-29 14:33:58 +00:00
Author
Owner
Copy link

@uavfly commented on GitHub (Feb 26, 2025):

显存总占用多少
差不多34G显存
Image

<!-- gh-comment-id:2683975648 --> @uavfly commented on GitHub (Feb 26, 2025): > 显存总占用多少 差不多34G显存 ![Image](https://github.com/user-attachments/assets/ac14a99a-3159-4ff1-91c7-2bea0a74ac6f)
bsakaguchi commented 2026-10-29 14:33:58 +00:00
Author
Owner
Copy link

@lulu2048 commented on GitHub (Feb 26, 2025):

显存总占用多少
差不多34G显存
Image

32.66刚好不够32G

<!-- gh-comment-id:2683985577 --> @lulu2048 commented on GitHub (Feb 26, 2025): > > 显存总占用多少 > > 差不多34G显存 > > ![Image](https://github.com/user-attachments/assets/ac14a99a-3159-4ff1-91c7-2bea0a74ac6f) 32.66刚好不够32G
bsakaguchi commented 2026-10-29 14:33:58 +00:00
Author
Owner
Copy link

@363843342 commented on GitHub (Feb 26, 2025):

显存总占用多少
差不多34G显存
Image

帕斯卡10系p100或1080ti是不是理论上也可以？在--use_flash_attn false情况下。另外v100需要禁用flash_attn吗？

<!-- gh-comment-id:2683996627 --> @363843342 commented on GitHub (Feb 26, 2025): > > 显存总占用多少 > > 差不多34G显存 > > ![Image](https://github.com/user-attachments/assets/ac14a99a-3159-4ff1-91c7-2bea0a74ac6f) 帕斯卡10系p100或1080ti是不是理论上也可以？在--use_flash_attn false情况下。另外v100需要禁用flash_attn吗？
bsakaguchi commented 2026-10-29 14:33:58 +00:00
Author
Owner
Copy link

@lulu2048 commented on GitHub (Feb 26, 2025):

显存总占用多少
差不多34G显存
Image

运行671B q2.51动态量化模型，显存占用会减少1/8吗？

<!-- gh-comment-id:2684016218 --> @lulu2048 commented on GitHub (Feb 26, 2025): > > 显存总占用多少 > > 差不多34G显存 > > ![Image](https://github.com/user-attachments/assets/ac14a99a-3159-4ff1-91c7-2bea0a74ac6f) 运行671B q2.51动态量化模型，显存占用会减少1/8吗？
bsakaguchi commented 2026-10-29 14:33:58 +00:00
Author
Owner
Copy link

@uavfly commented on GitHub (Feb 26, 2025):

显存总占用多少
差不多34G显存
Image

帕斯卡10系p100或1080ti是不是理论上也可以？在--use_flash_attn false情况下。另外v100需要禁用flash_attn吗？

应该是一样的，不需要手动禁用，直接就能运行。

<!-- gh-comment-id:2684016326 --> @uavfly commented on GitHub (Feb 26, 2025): > > > 显存总占用多少 > > > 差不多34G显存 > > > ![Image](https://github.com/user-attachments/assets/ac14a99a-3159-4ff1-91c7-2bea0a74ac6f) > > 帕斯卡10系p100或1080ti是不是理论上也可以？在--use_flash_attn false情况下。另外v100需要禁用flash_attn吗？ 应该是一样的，不需要手动禁用，直接就能运行。
bsakaguchi commented 2026-10-29 14:33:58 +00:00
Author
Owner
Copy link

@uavfly commented on GitHub (Feb 26, 2025):

显存总占用多少
差不多34G显存
Image

运行671B q2.51动态量化模型，显存占用会减少1/8吗？

我运行的就是Q2KXL，很明显改完KLinearTorch后他是按fp8加载的...

<!-- gh-comment-id:2684023674 --> @uavfly commented on GitHub (Feb 26, 2025): > > > 显存总占用多少 > > > 差不多34G显存 > > > ![Image](https://github.com/user-attachments/assets/ac14a99a-3159-4ff1-91c7-2bea0a74ac6f) > > 运行671B q2.51动态量化模型，显存占用会减少1/8吗？ 我运行的就是Q2KXL，很明显改完KLinearTorch后他是按fp8加载的...
bsakaguchi commented 2026-10-29 14:33:59 +00:00
Author
Owner
Copy link

@zhaoyanjoin commented on GitHub (Mar 2, 2025):

需要多少张2080Ti?
跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据

2080ti要四张？那3090能跑Marlin吗？一张可以吗？

2张2080Ti(魔改22g)可以用吗 我这边报错呢

<!-- gh-comment-id:2692737375 --> @zhaoyanjoin commented on GitHub (Mar 2, 2025): > > > 需要多少张2080Ti? > > > 跑Q4的话至少得四张跑起来了，因为torch算的时候是反量化之后的数据 > > 2080ti要四张？那3090能跑Marlin吗？一张可以吗？ 2张2080Ti(魔改22g)可以用吗 我这边报错呢
bsakaguchi commented 2026-10-29 14:33:59 +00:00
Author
Owner
Copy link

@603169050 commented on GitHub (Mar 2, 2025):

我四张魔改2080ti还报错了

<!-- gh-comment-id:2692971756 --> @603169050 commented on GitHub (Mar 2, 2025): 我四张魔改2080ti还报错了
bsakaguchi commented 2026-10-29 14:33:59 +00:00
Author
Owner
Copy link

@Print1n commented on GitHub (Mar 12, 2025):

成功在2*2080ti 22G上运行DeepSeek-R1-UD-IQ1_S

Image
<!-- gh-comment-id:2717965057 --> @Print1n commented on GitHub (Mar 12, 2025): 成功在2*2080ti 22G上运行DeepSeek-R1-UD-IQ1_S <img width="2372" alt="Image" src="https://github.com/user-attachments/assets/5f1c58f8-50da-4d83-b733-1264036bd799" />
bsakaguchi commented 2026-10-29 14:33:59 +00:00
Author
Owner
Copy link

@lulu2048 commented on GitHub (Mar 12, 2025):

q1.58比q2.51生成速度更慢吗？

<!-- gh-comment-id:2718088335 --> @lulu2048 commented on GitHub (Mar 12, 2025): q1.58比q2.51生成速度更慢吗？
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
main
auto/sync-sglang
gh-pages
docs/kt-ft-figure2-single-column-20261010
perf/bf16-grad-norm-20261010
docs/kt-ft-paper-20261008
release/20260911-carrier-repair
release/20260911-ci-python
release/20260911-pypi
ci/four-main-pypi-release
ci/model-e2e-acceptance
release/0.7.0.post3-frozen-pypi
fix/glm53-index-share-sync
release/0.7.0.post2-frozen-pypi
hotfix/0.7.0.post2-pypi-runtime
fix/avx2-wheel-feature-isolation
fix/release-self-hosted-runner
release/automate-kt-sft-pypi
support-glm5-next-djw
docs/deepseek-v4-flash-docker
ovowei-patch-3
support-glm52-djw
doc-reorg-entrypoints-support-matrix
bump-sglang-pr31
docs-v061-refresh
fp4-moe-amx
flatten-ktransformers-shim
archive-kt-sft
kt-kernel-torch-range-v061
sft-whl
sft
docs/gosim-2026-and-roadmap-link
ovowei-patch-2
ovowei-patch-1
revert-1918-fix/rocm-cpuinfer-stream-bridge
chore/kt-layerwise-prefill-main
chore/kt-layerwise-prefill-label
sft-rel
support-glm51-djw
release/v0.5.3
chore/kt-run-numa-nodes-unified
mtp
ksft-sglang
avx2
fix/sglang-kt-detection
layerwise-prefill-opt
feat/mistral-loader-support
fix-docker-build
minimax-m2.5
qwen3.5
add-maintainers
oql-doc
cli-dev-ljq
ljq-cli-dev-new
JimmyPeilinLi-patch-2
kimi_k2.5
oql-dev
experts_sched
JimmyPeilinLi-patch-1
ErvinXie-patch-1
ksft-llama
glm47_fp8
debug_llama
refactor_sft
ljq-cli-dev
refactor_sft_int4_debug
lut-nvfp4
fix-import
fix-deploy-djw
cpu-fix
ljq-dev-1
route-moe
sosp25-ae
v0.7.2
paper-ktft-v1.1
paper-ktft-v1
v0.7.1
v0.7.0.post4
v0.7.0.post1
v0.7.0
v0.6.4
v0.6.3.post1
v0.6.3
v0.6.2.post3
v0.6.2.post2
v0.6.2.post1
v0.6.2
v0.6.1
v0.6.1.post1
v0.5.3
v0.5.2.post1
v0.5.1
v0.5.0.post1
v0.5.0
v0.4.4
v0.4.3
v0.4.2
v0.4.1
v0.3.2
v0.3.1
v0.3
v0.2.4post1
v0.2.4
v0.2.3post2
v0.2.3post1
v0.2.3
v0.2.2
v0.2.2rc2
v0.2.2rc1
v0.2.1.post1
v0.2.1
v0.2.0
v0.1.4
v0.1.3
v0.1.2
v0.1.1
v0.1.0
Labels
Clear labels   
bug

   
duplicate

   
enhancement

   
good first issue

   
help wanted

   
pull-request
Mirrored from GitHub Pull Request

  
stale
No labels
bug
duplicate
enhancement
good first issue
help wanted
pull-request
stale
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
kvcache-ai/ktransformers#87
No description provided.