[GH-ISSUE #905] [Bug] 从0.2.1post某版本升级0.2.2rc2之后,发现能力变差 #650

Open
opened 2026-10-29 14:42:25 +00:00 by bsakaguchi · 5 comments
Owner

Originally created by @cnchenyp on GitHub (Mar 16, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/905

检查清单

  • 1. 我已经搜索过相关问题,但未能获得预期的帮助
  • 2. 该问题在最新版本中尚未修复
  • 3. 请注意,如果您提交的BUG相关 issue 缺少对应环境信息和最小可复现示例,我们将难以复现和定位问题,降低获得反馈的可能性
  • 4. 如果您提出的不是bug而是问题,请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭
  • 5. 为方便社区交流,我将使用中文/英文或附上中文/英文翻译(如使用其他语言)。未附带翻译的非中文/英语内容可能会被关闭

问题描述

同一个高数题 以前是能正确分析得出答案的,0.2.2rc2 0.2.3两个版本输出结果是错的。

已知有向曲线 L 为球面$x^2$+ $y^2$+ $z^2$= 2x与平面 2x-z-1=0 的交线从 z 轴正向往 z 轴负向看去为逆时针方向,计算曲线积分\int_L(6xyz-yz^2)dx+2x^2zdy+xyzdz

这是24年考研高数题 答案是 (\dfrac{4\pi\sqrt{5}}{25}),现在这两个版本是不能做出来

复现步骤

输入

已知有向曲线 L 为球面$x^2$+ $y^2$+ $z^2$= 2x与平面 2x-z-1=0 的交线从 z 轴正向往 z 轴负向看去为逆时针方向,计算曲线积分\int_L(6xyz-yz^2)dx+2x^2zdy+xyzdz

环境信息

RTX3090 + 7532

Originally created by @cnchenyp on GitHub (Mar 16, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/905 ### 检查清单 - [x] 1. 我已经搜索过相关问题,但未能获得预期的帮助 - [ ] 2. 该问题在最新版本中尚未修复 - [x] 3. 请注意,如果您提交的BUG相关 issue 缺少对应环境信息和最小可复现示例,我们将难以复现和定位问题,降低获得反馈的可能性 - [ ] 4. 如果您提出的不是bug而是问题,请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭 - [ ] 5. 为方便社区交流,我将使用中文/英文或附上中文/英文翻译(如使用其他语言)。未附带翻译的非中文/英语内容可能会被关闭 ### 问题描述 同一个高数题 以前是能正确分析得出答案的,0.2.2rc2 0.2.3两个版本输出结果是错的。 已知有向曲线 L 为球面$x^2$+ $y^2$+ $z^2$= 2x与平面 2x-z-1=0 的交线从 z 轴正向往 z 轴负向看去为逆时针方向,计算曲线积分$\int_L(6xyz-yz^2)dx+2x^2zdy+xyzdz$ 这是24年考研高数题 答案是 \(\dfrac{4\pi\sqrt{5}}{25}\),现在这两个版本是不能做出来 ### 复现步骤 输入 已知有向曲线 L 为球面$x^2$+ $y^2$+ $z^2$= 2x与平面 2x-z-1=0 的交线从 z 轴正向往 z 轴负向看去为逆时针方向,计算曲线积分$\int_L(6xyz-yz^2)dx+2x^2zdy+xyzdz$ ### 环境信息 RTX3090 + 7532
Author
Owner

@KimmyGLM commented on GitHub (Mar 17, 2025):

测试多很常见的多个问题,0.2.3 post1 有明显的降智情况存在,回答都不对,而Q4KM在llama.cpp 跑是正常的。推测可能是代码动过

<!-- gh-comment-id:2729189567 --> @KimmyGLM commented on GitHub (Mar 17, 2025): 测试多很常见的多个问题,0.2.3 post1 有明显的降智情况存在,回答都不对,而Q4KM在llama.cpp 跑是正常的。推测可能是代码动过
Author
Owner

@Pb-207 commented on GitHub (Mar 18, 2025):

测试问题:一个汉字具有左右结构,左边是木,右边是乞,这个字是什么?只需回答这个字即可。
从0.2.3post1之后也发现降智,以前的版本是可以答对的。

<!-- gh-comment-id:2731884732 --> @Pb-207 commented on GitHub (Mar 18, 2025): 测试问题:一个汉字具有左右结构,左边是木,右边是乞,这个字是什么?只需回答这个字即可。 从0.2.3post1之后也发现降智,以前的版本是可以答对的。
Author
Owner

@Atream commented on GitHub (Mar 19, 2025):

I have fixed some bug. Please try the latest code.
It can answer the question "一个汉字具有左右结构,左边是木,右边是乞,这个字是什么?" now.

<!-- gh-comment-id:2735823464 --> @Atream commented on GitHub (Mar 19, 2025): I have fixed some bug. Please try the latest code. It can answer the question "一个汉字具有左右结构,左边是木,右边是乞,这个字是什么?" now.
Author
Owner

@abfmwei commented on GitHub (Mar 20, 2025):

我用2.51量化模型跑同样的问题,试了几次都得不到正确的答案,不知道是模型本身有问题,还是ktransformers的问题。代码是从main上拿的最新代码。

<!-- gh-comment-id:2738821308 --> @abfmwei commented on GitHub (Mar 20, 2025): 我用2.51量化模型跑同样的问题,试了几次都得不到正确的答案,不知道是模型本身有问题,还是ktransformers的问题。代码是从main上拿的最新代码。
Author
Owner

@CYSTEV-chn commented on GitHub (Mar 22, 2025):

I have fixed some bug. Please try the latest code. It can answer the question "一个汉字具有左右结构,左边是木,右边是乞,这个字是什么?" now.

最终答案:

该汉字的结构左边是“木”,右边是“乞”,组合而成的汉字是 “朽”。 KT0.2.3post2,ds671Bq4给的答案是这个。

<!-- gh-comment-id:2745368648 --> @CYSTEV-chn commented on GitHub (Mar 22, 2025): > I have fixed some bug. Please try the latest code. It can answer the question "一个汉字具有左右结构,左边是木,右边是乞,这个字是什么?" now. 最终答案: 该汉字的结构左边是“木”,右边是“乞”,组合而成的汉字是 “朽”。 KT0.2.3post2,ds671Bq4给的答案是这个。
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
kvcache-ai/ktransformers#650
No description provided.