[GH-ISSUE #932] [Bug] Ubuntu24.04安装过程中用到的软件冲突 #663

New issue

Open

opened 2026-10-29 14:42:33 +00:00 by bsakaguchi · 4 comments

bsakaguchi commented

2026-10-29 14:42:33 +00:00

Owner

Originally created by @113514089 on GitHub (Mar 19, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/932

Originally assigned to: @Atream on GitHub.

检查清单

1. 我已经搜索过相关问题，但未能获得预期的帮助
2. 该问题在最新版本中尚未修复
3. 请注意，如果您提交的BUG相关 issue 缺少对应环境信息和最小可复现示例，我们将难以复现和定位问题，降低获得反馈的可能性
4. 如果您提出的不是bug而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭
5. 为方便社区交流，我将使用中文/英文或附上中文/英文翻译（如使用其他语言）。未附带翻译的非中文/英语内容可能会被关闭

问题描述

cuda torch flashinfer 冲突 Ubuntu24.04 最低支持cuda12.6 装其他会有兼容性问题，或者可以安装，但是要解决一堆麻烦事，torch 与cuda兼容性较好，但是flashinfer 不支持cuda12.6版，支持的最高版本是12.4，所以flashinfer在其中起了多大作用，能用其他代替吗？

复现步骤

这个是安装过程的冲突所以就没有这些了

环境信息

ubuntu24.04 8581c 双cpu 4090显卡

Originally created by @113514089 on GitHub (Mar 19, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/932 Originally assigned to: @Atream on GitHub. ### 检查清单 - [x] 1. 我已经搜索过相关问题，但未能获得预期的帮助 - [x] 2. 该问题在最新版本中尚未修复 - [ ] 3. 请注意，如果您提交的BUG相关 issue 缺少对应环境信息和最小可复现示例，我们将难以复现和定位问题，降低获得反馈的可能性 - [ ] 4. 如果您提出的不是bug而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭 - [ ] 5. 为方便社区交流，我将使用中文/英文或附上中文/英文翻译（如使用其他语言）。未附带翻译的非中文/英语内容可能会被关闭 ### 问题描述 cuda torch flashinfer 冲突 Ubuntu24.04 最低支持cuda12.6 装其他会有兼容性问题，或者可以安装，但是要解决一堆麻烦事，torch 与cuda兼容性较好，但是flashinfer 不支持cuda12.6版，支持的最高版本是12.4，所以flashinfer在其中起了多大作用，能用其他代替吗？ ### 复现步骤这个是安装过程的冲突所以就没有这些了 ### 环境信息 ubuntu24.04 8581c 双cpu 4090显卡

bsakaguchi commented

2026-10-29 14:42:34 +00:00

Author

Owner

@yeungtuzi commented on GitHub (Mar 20, 2025):

我使用 cuda12.8/torch 2.6 可以正常编译安装flashinfer，官方的whl不会编译很多版本提供下载，建议自行编译

@yeungtuzi commented on GitHub (Mar 20, 2025): 我使用 cuda12.8/torch 2.6 可以正常编译安装flashinfer，官方的whl不会编译很多版本提供下载，建议自行编译

bsakaguchi commented

2026-10-29 14:42:34 +00:00

Author

Owner

@113514089 commented on GitHub (Mar 20, 2025):

编译简单吗，有没有教程可以贴下，谢谢

@113514089 commented on GitHub (Mar 20, 2025): 编译简单吗，有没有教程可以贴下，谢谢

bsakaguchi commented

2026-10-29 14:42:34 +00:00

Author

Owner

@Atream commented on GitHub (Mar 20, 2025):

不安装flashinfer也可以使用，会自动使用triton kernel来进行MLA计算，但后续的多并发必须使用flashinfer。
flashinfer支持源码编译安装，使用jit模式安装简单快速，具体请参考https://github.com/flashinfer-ai/flashinfer?tab=readme-ov-file#install-from-source

@Atream commented on GitHub (Mar 20, 2025): 不安装flashinfer也可以使用，会自动使用triton kernel来进行MLA计算，但后续的多并发必须使用flashinfer。 flashinfer支持源码编译安装，使用jit模式安装简单快速，具体请参考https://github.com/flashinfer-ai/flashinfer?tab=readme-ov-file#install-from-source

bsakaguchi commented

2026-10-29 14:42:34 +00:00

Author

Owner

@CYSTEV-chn commented on GitHub (Mar 25, 2025):

不装flashinfer，启动的时候会自动装triton，但是triton只支持8K的上下文，flashinfer支持128K上下文以及并发适用。

@CYSTEV-chn commented on GitHub (Mar 25, 2025): 不装flashinfer，启动的时候会自动装triton，但是triton只支持8K的上下文，flashinfer支持128K上下文以及并发适用。

bsakaguchi referenced this issue

2026-10-29 14:52:27 +00:00

[PR #640] [CLOSED] fix some error in KExpertsTorch and bf16 experts load #1439

bsakaguchi referenced this issue

2026-10-29 14:52:32 +00:00

[PR #663] [MERGED] [release] 0.2.2rc. #1451