kvcache-ai/ktransformers
1
0
Fork 0
mirror of https://github.com/kvcache-ai/ktransformers.git synced 2026-11-05 01:07:28 +00:00
Code Issues 469 Projects Packages Wiki Activity

[GH-ISSUE #540] 无限推理，停不下来 #390

New issue
Closed
opened 2026-10-29 14:38:57 +00:00 by bsakaguchi · 6 comments
bsakaguchi commented 2026-10-29 14:38:57 +00:00
Owner
Copy link

Originally created by @yeungtuzi on GitHub (Feb 20, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/540

git pull 最新版并安装，使用671B Q4 GGUF，之前一切正常，现在思考停不下来，前端open-webui会在一段时间后显示完成，但是后台控制台还在疯狂输出。

我是由中国的深度求索（DeepSeek）公司独立开发的智能助手DeepSeek-R1，有关模型和产品的详细内容请参考官方文档。
2025-02-20 08:51:16,190 INFO /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/base.py[64]: Performance(T/s): prefill 6.63511340491586, decode 6.123667594168619. Time(s): tokenize 0.03325629234313965, prefill 1.5071332454681396, decode 11.594358921051025
2025-02-20 08:51:16,194 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/transformers.py[197]: get input ids of shape torch.Size([1, 352])

2025-02-20 08:51:16,195 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[132]: input_ids: torch.Size([1, 355])
2025-02-20 08:51:16,196 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[158]: same prefix len: 3
2025-02-20 08:51:16,197 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[167]: input_ids: torch.Size([1, 352])
2025-02-20 08:51:16,197 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[169]: generate_ids: torch.Size([1, 3])
2025-02-20 08:51:16,197 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[180]: cache position: 3 to 355
首先，我需要分析用户提供的任务和输入。用户给出的是search query，而文本是“你是什么模型”。作为自动补全系统，我需要根据类型和上下文生成合适的补全。

用户的当前输入是中文，询问“你是什么模型”，类型是搜索查询。因此，我需要生成一个可能的完整搜索查询。考虑到用户可能在询问AI模型的类型或名称，比如他们可能想确认这是ChatGPT、GPT-3还是其他模型。因此，补全应该类似于“你是什么模型？是ChatGPT还是其他AI模型？”之类的查
。需要保持简洁，符合搜索查询的常见结构，可能用户会直接询问模型名称，或者进一步询问版本信息。同时，避免重复，补全部分应自然衔接，不添加无关信息。例如，“你是什么模型？请提供开发者信息。”也是一个可能的方向。需要选择最自然常见的补全方式，符合用户搜索习惯。

另外，要注意用户之前的聊天记录中，用户问过同样的问题，但助手没有回答。现在作为搜索查询补全，需要独立处理，不需要考虑之前的交互，只需根据当前输入生成补全。所以，补全应该专注于当前文本，即“你是什么模型”的搜索查询可能的延续，例如添加关于模型类型、版本或开发者的
体询问。

最终，确定补全部分应提供可能的搜索意图扩展，比如询问具体模型名称、用途或开发者，确保符合搜索查询的结构，例如“你是什么模型？是GPT-3吗？”或者“你是什么模型，由哪家公司开发？”。需要选择最自然且常见的补全，所以可能的最佳选择是询问具体模型名称，如GPT-3或ChatGPT，
为这些是常见的相关搜索词。

{ "text": "你是什么模型？是GPT-3还是ChatGPT？" }
2025-02-20 08:52:16,415 INFO /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/base.py[64]: Performance(T/s): prefill 66.40788948545541, decode 6.955617870099806. Time(s): tokenize 0.003935575485229492, prefill 5.300575017929077, decode 54.91963577270508
INFO: 172.17.0.2:34244 - "POST /v1/chat/completions HTTP/1.1" 200 OK
INFO: 172.17.0.2:57438 - "GET /v1/models HTTP/1.1" 200 OK
2025-02-20 08:52:16,435 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/transformers.py[197]: get input ids of shape torch.Size([1, 249])

2025-02-20 08:52:16,436 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[132]: input_ids: torch.Size([1, 252])
2025-02-20 08:52:16,436 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[158]: same prefix len: 6
2025-02-20 08:52:16,438 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[167]: input_ids: torch.Size([1, 246])
2025-02-20 08:52:16,438 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[169]: generate_ids: torch.Size([1, 6])
2025-02-20 08:52:16,438 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[180]: cache position: 6 to 252
Alright, the user asked the assistant what model it is. The assistant responded by introducing itself as DeepSeek-R1, developed by DeepSeek in China. The main theme here is the introduction or explanation of the AI model itself. So the title should reflect that the conversation is about the AI model's identity.

The user is asking about the model's origin and identity. An appropriate emoji could be a robot 🤖 to represent the AI assistant. Combining that with a concise title, something like "🤖 DeepSeek-R1 Introduction" makes sense. It's straightforward, includes the relevant emoji, and clearly states the topic without unnecessary complexity. Checking the examples given, they use emojis related to the subject and keep the title brief. This fits well within the guidelines.

{
"title": "🤖 DeepSeek-R1 Introduction"
}
2025-02-20 08:52:46,501 INFO /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/base.py[64]: Performance(T/s): prefill 60.21192217305188, decode 6.967092040959179. Time(s): tokenize 0.003643035888671875, prefill 4.085569620132446, decode 25.97927498817444
INFO: 172.17.0.2:57452 - "POST /v1/chat/completions HTTP/1.1" 200 OK
INFO: 172.17.0.2:47482 - "GET /v1/models HTTP/1.1" 200 OK
2025-02-20 08:52:46,515 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/transformers.py[197]: get input ids of shape torch.Size([1, 210])

2025-02-20 08:52:46,515 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[132]: input_ids: torch.Size([1, 213])
2025-02-20 08:52:46,516 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[158]: same prefix len: 7
2025-02-20 08:52:46,517 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[167]: input_ids: torch.Size([1, 206])
2025-02-20 08:52:46,517 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[169]: generate_ids: torch.Size([1, 7])
2025-02-20 08:52:46,517 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[180]: cache position: 7 to 213
Alright, I need to generate tags for the given chat history. Let me start by reading through the user and assistant messages.

The user asks, "你是什么模型" which translates to "What model are you?" The assistant responds by stating it's DeepSeek-R1, developed by the Chinese company DeepSeek, and refers to the official documentation.

The main theme here is clearly about the AI model itself. The user is inquiring about the identity and origin of the

Originally created by @yeungtuzi on GitHub (Feb 20, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/540 git pull 最新版并安装，使用671B Q4 GGUF，之前一切正常，现在思考停不下来，前端open-webui会在一段时间后显示完成，但是后台控制台还在疯狂输出。 </think> 我是由中国的深度求索（DeepSeek）公司独立开发的智能助手DeepSeek-R1，有关模型和产品的详细内容请参考官方文档。 2025-02-20 08:51:16,190 INFO /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/base.py[64]: Performance(T/s): prefill 6.63511340491586, decode 6.123667594168619. Time(s): tokenize 0.03325629234313965, prefill 1.5071332454681396, decode 11.594358921051025 2025-02-20 08:51:16,194 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/transformers.py[197]: get input ids of shape torch.Size([1, 352]) <think> 2025-02-20 08:51:16,195 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[132]: input_ids: torch.Size([1, 355]) 2025-02-20 08:51:16,196 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[158]: same prefix len: 3 2025-02-20 08:51:16,197 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[167]: input_ids: torch.Size([1, 352]) 2025-02-20 08:51:16,197 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[169]: generate_ids: torch.Size([1, 3]) 2025-02-20 08:51:16,197 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[180]: cache position: 3 to 355 首先，我需要分析用户提供的任务和输入。用户给出的是<type>search query</type>，而文本是“你是什么模型”。作为自动补全系统，我需要根据类型和上下文生成合适的补全。 用户的当前输入是中文，询问“你是什么模型”，类型是搜索查询。因此，我需要生成一个可能的完整搜索查询。考虑到用户可能在询问AI模型的类型或名称，比如他们可能想确认这是ChatGPT、GPT-3还是其他模型。因此，补全应该类似于“你是什么模型？是ChatGPT还是其他AI模型？”之类的查 。需要保持简洁，符合搜索查询的常见结构，可能用户会直接询问模型名称，或者进一步询问版本信息。同时，避免重复，补全部分应自然衔接，不添加无关信息。例如，“你是什么模型？请提供开发者信息。”也是一个可能的方向。需要选择最自然常见的补全方式，符合用户搜索习惯。 另外，要注意用户之前的聊天记录中，用户问过同样的问题，但助手没有回答。现在作为搜索查询补全，需要独立处理，不需要考虑之前的交互，只需根据当前输入生成补全。所以，补全应该专注于当前文本，即“你是什么模型”的搜索查询可能的延续，例如添加关于模型类型、版本或开发者的 体询问。 最终，确定补全部分应提供可能的搜索意图扩展，比如询问具体模型名称、用途或开发者，确保符合搜索查询的结构，例如“你是什么模型？是GPT-3吗？”或者“你是什么模型，由哪家公司开发？”。需要选择最自然且常见的补全，所以可能的最佳选择是询问具体模型名称，如GPT-3或ChatGPT， 为这些是常见的相关搜索词。 </think> { "text": "你是什么模型？是GPT-3还是ChatGPT？" } 2025-02-20 08:52:16,415 INFO /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/base.py[64]: Performance(T/s): prefill 66.40788948545541, decode 6.955617870099806. Time(s): tokenize 0.003935575485229492, prefill 5.300575017929077, decode 54.91963577270508 INFO: 172.17.0.2:34244 - "POST /v1/chat/completions HTTP/1.1" 200 OK INFO: 172.17.0.2:57438 - "GET /v1/models HTTP/1.1" 200 OK 2025-02-20 08:52:16,435 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/transformers.py[197]: get input ids of shape torch.Size([1, 249]) <think> 2025-02-20 08:52:16,436 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[132]: input_ids: torch.Size([1, 252]) 2025-02-20 08:52:16,436 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[158]: same prefix len: 6 2025-02-20 08:52:16,438 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[167]: input_ids: torch.Size([1, 246]) 2025-02-20 08:52:16,438 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[169]: generate_ids: torch.Size([1, 6]) 2025-02-20 08:52:16,438 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[180]: cache position: 6 to 252 Alright, the user asked the assistant what model it is. The assistant responded by introducing itself as DeepSeek-R1, developed by DeepSeek in China. The main theme here is the introduction or explanation of the AI model itself. So the title should reflect that the conversation is about the AI model's identity. The user is asking about the model's origin and identity. An appropriate emoji could be a robot 🤖 to represent the AI assistant. Combining that with a concise title, something like "🤖 DeepSeek-R1 Introduction" makes sense. It's straightforward, includes the relevant emoji, and clearly states the topic without unnecessary complexity. Checking the examples given, they use emojis related to the subject and keep the title brief. This fits well within the guidelines. </think> { "title": "🤖 DeepSeek-R1 Introduction" } 2025-02-20 08:52:46,501 INFO /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/base.py[64]: Performance(T/s): prefill 60.21192217305188, decode 6.967092040959179. Time(s): tokenize 0.003643035888671875, prefill 4.085569620132446, decode 25.97927498817444 INFO: 172.17.0.2:57452 - "POST /v1/chat/completions HTTP/1.1" 200 OK INFO: 172.17.0.2:47482 - "GET /v1/models HTTP/1.1" 200 OK 2025-02-20 08:52:46,515 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/transformers.py[197]: get input ids of shape torch.Size([1, 210]) <think> 2025-02-20 08:52:46,515 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[132]: input_ids: torch.Size([1, 213]) 2025-02-20 08:52:46,516 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[158]: same prefix len: 7 2025-02-20 08:52:46,517 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[167]: input_ids: torch.Size([1, 206]) 2025-02-20 08:52:46,517 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[169]: generate_ids: torch.Size([1, 7]) 2025-02-20 08:52:46,517 DEBUG /root/miniconda3/envs/ktransformers/lib/python3.11/site-packages/ktransformers/server/backend/interfaces/ktransformers.py[180]: cache position: 7 to 213 Alright, I need to generate tags for the given chat history. Let me start by reading through the user and assistant messages. The user asks, "你是什么模型" which translates to "What model are you?" The assistant responds by stating it's DeepSeek-R1, developed by the Chinese company DeepSeek, and refers to the official documentation. The main theme here is clearly about the AI model itself. The user is inquiring about the identity and origin of the
bsakaguchi commented 2026-10-29 14:38:58 +00:00
Author
Owner
Copy link

@umdreamer commented on GitHub (Feb 20, 2025):

Me too.

不过，可能我需要回到最基础的运算尝试，即逐步尝试不同的运算符号组合，然后找到正确的解。例如，首先尝试将两个数相乘，然后另外两个数相加或减，然后调整结果。或者，首先尝试将两个数相加，然后乘以另外两个数的乘积，然后调整结果。

不过，可能这样的思路需要更多的运算步骤，或者需要更高的运算能力。例如，可能需要考虑所有可能的运算符号组合，然后逐一验证是否结果等于24。或者，可能通过某些数学技巧，来简化运算过程，从而找到正确的解。

不过，可能我需要回到最基础的运算尝试，即逐步尝试不同的运算符号组合，然后找到正确的解。例如，首先尝试将两个数相乘，然后另外两个数相加或减，然后调整结果。或者，首先尝试将两个数相加，然后乘以另外两个数的乘积，然后调整结果。

不过，可能这样的思路需要更多的运算步骤，或者需要更高的运算能力。例如，可能需要考虑所有可能的运算符号组合，然后逐一验证是否结果等于24。或者，可能通过某些数学技巧，来简化运算过程，从而找到正确的解。

不过，可能我需要回到最基础的运算尝试，即逐步尝试不同的运算符号组合，然后找到正确的解。例如，首先尝试将两个数相乘，然后另外两个数相加或减，然后调整结果。或者，首先尝试将两个数相加，然后乘以另外两个数的乘积，然后调整结果。

不过，可能这样的思路需要更多的运算步骤，或者需要更高的运算能力。例如，可能需要考虑所有可能的运算符号组合，然后逐一验证是否结果等于24。或者，可能通过某些数学技巧，来简化运算过程，从而找到正确的解。

不过，可能我需要回到最基础的运算尝试，即逐步尝试不同的运算符号组合，然后找到正确的解。例如，首先尝试将两个数相乘，然后另外两个数相加或减，然后调整结果。或者，首先尝试将两个数相加，然后乘以另外两个数的乘积，然后调整结果。

<!-- gh-comment-id:2670847724 --> @umdreamer commented on GitHub (Feb 20, 2025): Me too. 不过，可能我需要回到最基础的运算尝试，即逐步尝试不同的运算符号组合，然后找到正确的解。例如，首先尝试将两个数相乘，然后另外两个数相加或减，然后调整结果。或者，首先尝试将两个数相加，然后乘以另外两个数的乘积，然后调整结果。 不过，可能这样的思路需要更多的运算步骤，或者需要更高的运算能力。例如，可能需要考虑所有可能的运算符号组合，然后逐一验证是否结果等于24。或者，可能通过某些数学技巧，来简化运算过程，从而找到正确的解。 不过，可能我需要回到最基础的运算尝试，即逐步尝试不同的运算符号组合，然后找到正确的解。例如，首先尝试将两个数相乘，然后另外两个数相加或减，然后调整结果。或者，首先尝试将两个数相加，然后乘以另外两个数的乘积，然后调整结果。 不过，可能这样的思路需要更多的运算步骤，或者需要更高的运算能力。例如，可能需要考虑所有可能的运算符号组合，然后逐一验证是否结果等于24。或者，可能通过某些数学技巧，来简化运算过程，从而找到正确的解。 不过，可能我需要回到最基础的运算尝试，即逐步尝试不同的运算符号组合，然后找到正确的解。例如，首先尝试将两个数相乘，然后另外两个数相加或减，然后调整结果。或者，首先尝试将两个数相加，然后乘以另外两个数的乘积，然后调整结果。 不过，可能这样的思路需要更多的运算步骤，或者需要更高的运算能力。例如，可能需要考虑所有可能的运算符号组合，然后逐一验证是否结果等于24。或者，可能通过某些数学技巧，来简化运算过程，从而找到正确的解。 不过，可能我需要回到最基础的运算尝试，即逐步尝试不同的运算符号组合，然后找到正确的解。例如，首先尝试将两个数相乘，然后另外两个数相加或减，然后调整结果。或者，首先尝试将两个数相加，然后乘以另外两个数的乘积，然后调整结果。
bsakaguchi commented 2026-10-29 14:38:58 +00:00
Author
Owner
Copy link

@maaaxinfinity commented on GitHub (Feb 20, 2025):

请使用最新版main编译，注意清理本地环境

<!-- gh-comment-id:2672249600 --> @maaaxinfinity commented on GitHub (Feb 20, 2025): 请使用最新版main编译，注意清理本地环境
bsakaguchi commented 2026-10-29 14:38:58 +00:00
Author
Owner
Copy link

@snailwei commented on GitHub (Feb 21, 2025):

我是--max_new_tokens 8192这个参数，如果我修改为128K，就会进入自动无限推理，一直给我quick sort的代码。
修改为8192之后一切正常，看来不能太大。

<!-- gh-comment-id:2673162463 --> @snailwei commented on GitHub (Feb 21, 2025): 我是`--max_new_tokens 8192`这个参数，如果我修改为128K，就会进入自动无限推理，一直给我quick sort的代码。 修改为8192之后一切正常，看来不能太大。
bsakaguchi commented 2026-10-29 14:38:58 +00:00
Author
Owner
Copy link

@yeungtuzi commented on GitHub (Feb 21, 2025):

main分支已经解决，20250221

<!-- gh-comment-id:2673457819 --> @yeungtuzi commented on GitHub (Feb 21, 2025): main分支已经解决，20250221
bsakaguchi commented 2026-10-29 14:38:58 +00:00
Author
Owner
Copy link

@kiter-zero commented on GitHub (Feb 27, 2025):

main分支已经解决，20250221

下载了最新main分支，无法解决

<!-- gh-comment-id:2687095361 --> @kiter-zero commented on GitHub (Feb 27, 2025): > main分支已经解决，20250221 下载了最新main分支，无法解决
bsakaguchi commented 2026-10-29 14:38:58 +00:00
Author
Owner
Copy link

@maaaxinfinity commented on GitHub (Feb 27, 2025):

main分支已经解决，20250221

下载了最新main分支，无法解决
最新版本的main分支要使用kv官方量化的fp8 safetensor，如果不想下模型建议回退0.21版本

<!-- gh-comment-id:2687367791 --> @maaaxinfinity commented on GitHub (Feb 27, 2025): > > main分支已经解决，20250221 > > 下载了最新main分支，无法解决 最新版本的main分支要使用kv官方量化的fp8 safetensor，如果不想下模型建议回退0.21版本
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
main
auto/sync-sglang
gh-pages
docs/kt-ft-figure2-single-column-20261010
perf/bf16-grad-norm-20261010
docs/kt-ft-paper-20261008
release/20260911-carrier-repair
release/20260911-ci-python
release/20260911-pypi
ci/four-main-pypi-release
ci/model-e2e-acceptance
release/0.7.0.post3-frozen-pypi
fix/glm53-index-share-sync
release/0.7.0.post2-frozen-pypi
hotfix/0.7.0.post2-pypi-runtime
fix/avx2-wheel-feature-isolation
fix/release-self-hosted-runner
release/automate-kt-sft-pypi
support-glm5-next-djw
docs/deepseek-v4-flash-docker
ovowei-patch-3
support-glm52-djw
doc-reorg-entrypoints-support-matrix
bump-sglang-pr31
docs-v061-refresh
fp4-moe-amx
flatten-ktransformers-shim
archive-kt-sft
kt-kernel-torch-range-v061
sft-whl
sft
docs/gosim-2026-and-roadmap-link
ovowei-patch-2
ovowei-patch-1
revert-1918-fix/rocm-cpuinfer-stream-bridge
chore/kt-layerwise-prefill-main
chore/kt-layerwise-prefill-label
sft-rel
support-glm51-djw
release/v0.5.3
chore/kt-run-numa-nodes-unified
mtp
ksft-sglang
avx2
fix/sglang-kt-detection
layerwise-prefill-opt
feat/mistral-loader-support
fix-docker-build
minimax-m2.5
qwen3.5
add-maintainers
oql-doc
cli-dev-ljq
ljq-cli-dev-new
JimmyPeilinLi-patch-2
kimi_k2.5
oql-dev
experts_sched
JimmyPeilinLi-patch-1
ErvinXie-patch-1
ksft-llama
glm47_fp8
debug_llama
refactor_sft
ljq-cli-dev
refactor_sft_int4_debug
lut-nvfp4
fix-import
fix-deploy-djw
cpu-fix
ljq-dev-1
route-moe
sosp25-ae
v0.7.2
paper-ktft-v1.1
paper-ktft-v1
v0.7.1
v0.7.0.post4
v0.7.0.post1
v0.7.0
v0.6.4
v0.6.3.post1
v0.6.3
v0.6.2.post3
v0.6.2.post2
v0.6.2.post1
v0.6.2
v0.6.1
v0.6.1.post1
v0.5.3
v0.5.2.post1
v0.5.1
v0.5.0.post1
v0.5.0
v0.4.4
v0.4.3
v0.4.2
v0.4.1
v0.3.2
v0.3.1
v0.3
v0.2.4post1
v0.2.4
v0.2.3post2
v0.2.3post1
v0.2.3
v0.2.2
v0.2.2rc2
v0.2.2rc1
v0.2.1.post1
v0.2.1
v0.2.0
v0.1.4
v0.1.3
v0.1.2
v0.1.1
v0.1.0
Labels
Clear labels   
bug

   
duplicate

   
enhancement

   
good first issue

   
help wanted

   
pull-request
Mirrored from GitHub Pull Request

  
stale
No labels
bug
duplicate
enhancement
good first issue
help wanted
pull-request
stale
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
kvcache-ai/ktransformers#390
No description provided.