[GH-ISSUE #367] v100上运行671B q4可以到chat界面，但是回答时报错，有人遇到过吗 #242

New issue

Closed

opened 2026-10-29 14:36:24 +00:00 by bsakaguchi · 10 comments

bsakaguchi commented 2026-10-29 14:36:24 +00:00

Owner

Copy link

Originally created by @caodongminga on GitHub (Feb 16, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/367

Originally created by @caodongminga on GitHub (Feb 16, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/367 

bsakaguchi 2026-10-29 14:36:24 +00:00

• closed this issue
• added the
  stale
  label

bsakaguchi commented 2026-10-29 14:36:25 +00:00

Author

Owner

Copy link

@Zha-Miku commented on GitHub (Feb 16, 2025):

一样，我的是10卡的l40

<!-- gh-comment-id:2661375175 --> @Zha-Miku commented on GitHub (Feb 16, 2025): 一样，我的是10卡的l40

bsakaguchi commented 2026-10-29 14:36:25 +00:00

Author

Owner

Copy link

@caodongminga commented on GitHub (Feb 16, 2025):

一样，我的是10卡的l40

是不是只能30系和40系的架构的？L40应该是ada的

<!-- gh-comment-id:2661376268 --> @caodongminga commented on GitHub (Feb 16, 2025): > 一样，我的是10卡的l40 是不是只能30系和40系的架构的？L40应该是ada的

bsakaguchi commented 2026-10-29 14:36:25 +00:00

Author

Owner

Copy link

@adonishong commented on GitHub (Feb 16, 2025):

exactly same problem here ...

<!-- gh-comment-id:2661376791 --> @adonishong commented on GitHub (Feb 16, 2025): exactly same problem here ...

bsakaguchi commented 2026-10-29 14:36:25 +00:00

Author

Owner

Copy link

@20000419 commented on GitHub (Feb 16, 2025):

首先，git下载最新的源码。
然后，修改源码中的DeepSeek-V3-Chat-multi-gpu-4.yaml，和其他所有相关的yaml文件，将里面所有的KLinearMarlin换成KLinearTorch；
然后，你需要从ktransformer的源码进行编译，直到在本机编译成功。
然后，安装flash-attn，不会用到，但是不安装会报错。
然后，修改local_chat.py，将里面所有的flash_attention_2换成eager；
然后，运行locai_chat.py,务必按照官方教程的命令来，根据本机参数调整；
然后，在运行过程中检查内存占用，通过top命令观察其调用情况，单路cpu上的内存容量一定要大于模型的完整大小。（多路也只是复制）
最后，确认模型完整加载到内存，特定权重层完整加载到显存后，在chat界面尝试输入内容，观察是否还有报错出现。

<!-- gh-comment-id:2661434659 --> @20000419 commented on GitHub (Feb 16, 2025): 首先，git下载最新的源码。 然后，修改源码中的DeepSeek-V3-Chat-multi-gpu-4.yaml，和其他所有相关的yaml文件，将里面所有的KLinearMarlin换成KLinearTorch； 然后，你需要从ktransformer的源码进行编译，直到在本机编译成功。 然后，安装flash-attn，不会用到，但是不安装会报错。 然后，修改local_chat.py，将里面所有的flash_attention_2换成eager； 然后，运行locai_chat.py,务必按照官方教程的命令来，根据本机参数调整； 然后，在运行过程中检查内存占用，通过top命令观察其调用情况，单路cpu上的内存容量一定要大于模型的完整大小。（多路也只是复制） 最后，确认模型完整加载到内存，特定权重层完整加载到显存后，在chat界面尝试输入内容，观察是否还有报错出现。

bsakaguchi commented 2026-10-29 14:36:26 +00:00

Author

Owner

Copy link

@xialang2012 commented on GitHub (Feb 16, 2025):

首先，git下载最新的源码。 然后，修改源码中的DeepSeek-V3-Chat-multi-gpu-4.yaml，和其他所有相关的yaml文件，将里面所有的KLinearMarlin换成KLinearTorch； 然后，你需要从ktransformer的源码进行编译，直到在本机编译成功。 然后，安装flash-attn，不会用到，但是不安装会报错。 然后，修改local_chat.py，将里面所有的flash_attention_2换成eager； 然后，运行locai_chat.py,务必按照官方教程的命令来，根据本机参数调整； 然后，在运行过程中检查内存占用，通过top命令观察其调用情况，单路cpu上的内存容量一定要大于模型的完整大小。（多路也只是复制） 最后，确认模型完整加载到内存，特定权重层完整加载到显存后，在chat界面尝试输入内容，观察是否还有报错出现。

我是4090也是一样的错误，windows下。

<!-- gh-comment-id:2661438211 --> @xialang2012 commented on GitHub (Feb 16, 2025): > 首先，git下载最新的源码。 然后，修改源码中的DeepSeek-V3-Chat-multi-gpu-4.yaml，和其他所有相关的yaml文件，将里面所有的KLinearMarlin换成KLinearTorch； 然后，你需要从ktransformer的源码进行编译，直到在本机编译成功。 然后，安装flash-attn，不会用到，但是不安装会报错。 然后，修改local_chat.py，将里面所有的flash_attention_2换成eager； 然后，运行locai_chat.py,务必按照官方教程的命令来，根据本机参数调整； 然后，在运行过程中检查内存占用，通过top命令观察其调用情况，单路cpu上的内存容量一定要大于模型的完整大小。（多路也只是复制） 最后，确认模型完整加载到内存，特定权重层完整加载到显存后，在chat界面尝试输入内容，观察是否还有报错出现。 我是4090也是一样的错误，windows下。

bsakaguchi commented 2026-10-29 14:36:26 +00:00

Author

Owner

Copy link

@20000419 commented on GitHub (Feb 16, 2025):

首先，git下载最新的源码。 然后，修改源码中的DeepSeek-V3-Chat-multi-gpu-4.yaml，和其他所有相关的yaml文件，将里面所有的KLinearMarlin换成KLinearTorch； 然后，你需要从ktransformer的源码进行编译，直到在本机编译成功。 然后，安装flash-attn，不会用到，但是不安装会报错。 然后，修改local_chat.py，将里面所有的flash_attention_2换成eager； 然后，运行locai_chat.py,务必按照官方教程的命令来，根据本机参数调整； 然后，在运行过程中检查内存占用，通过top命令观察其调用情况，单路cpu上的内存容量一定要大于模型的完整大小。（多路也只是复制） 最后，确认模型完整加载到内存，特定权重层完整加载到显存后，在chat界面尝试输入内容，观察是否还有报错出现。

我是4090也是一样的错误，windows下。

你是在本地编译的吗？

<!-- gh-comment-id:2661451045 --> @20000419 commented on GitHub (Feb 16, 2025): > > 首先，git下载最新的源码。 然后，修改源码中的DeepSeek-V3-Chat-multi-gpu-4.yaml，和其他所有相关的yaml文件，将里面所有的KLinearMarlin换成KLinearTorch； 然后，你需要从ktransformer的源码进行编译，直到在本机编译成功。 然后，安装flash-attn，不会用到，但是不安装会报错。 然后，修改local_chat.py，将里面所有的flash_attention_2换成eager； 然后，运行locai_chat.py,务必按照官方教程的命令来，根据本机参数调整； 然后，在运行过程中检查内存占用，通过top命令观察其调用情况，单路cpu上的内存容量一定要大于模型的完整大小。（多路也只是复制） 最后，确认模型完整加载到内存，特定权重层完整加载到显存后，在chat界面尝试输入内容，观察是否还有报错出现。 > > 我是4090也是一样的错误，windows下。 你是在本地编译的吗？

bsakaguchi commented 2026-10-29 14:36:26 +00:00

Author

Owner

Copy link

@meitianjinbu commented on GitHub (Feb 17, 2025):

首先，git下载最新的源码。 然后，修改源码中的DeepSeek-V3-Chat-multi-gpu-4.yaml，和其他所有相关的yaml文件，将里面所有的KLinearMarlin换成KLinearTorch； 然后，你需要从ktransformer的源码进行编译，直到在本机编译成功。 然后，安装flash-attn，不会用到，但是不安装会报错。 然后，修改local_chat.py，将里面所有的flash_attention_2换成eager； 然后，运行locai_chat.py,务必按照官方教程的命令来，根据本机参数调整； 然后，在运行过程中检查内存占用，通过top命令观察其调用情况，单路cpu上的内存容量一定要大于模型的完整大小。（多路也只是复制） 最后，确认模型完整加载到内存，特定权重层完整加载到显存后，在chat界面尝试输入内容，观察是否还有报错出现。

两点修改不太明白，可以帮解释下为什么么？：KLinearMarlin换成KLinearTorch 和 将里面所有的flash_attention_2换成eager，我也是4090编译后报cuda dsa到错误。

<!-- gh-comment-id:2661803635 --> @meitianjinbu commented on GitHub (Feb 17, 2025): > 首先，git下载最新的源码。 然后，修改源码中的DeepSeek-V3-Chat-multi-gpu-4.yaml，和其他所有相关的yaml文件，将里面所有的KLinearMarlin换成KLinearTorch； 然后，你需要从ktransformer的源码进行编译，直到在本机编译成功。 然后，安装flash-attn，不会用到，但是不安装会报错。 然后，修改local_chat.py，将里面所有的flash_attention_2换成eager； 然后，运行locai_chat.py,务必按照官方教程的命令来，根据本机参数调整； 然后，在运行过程中检查内存占用，通过top命令观察其调用情况，单路cpu上的内存容量一定要大于模型的完整大小。（多路也只是复制） 最后，确认模型完整加载到内存，特定权重层完整加载到显存后，在chat界面尝试输入内容，观察是否还有报错出现。 两点修改不太明白，可以帮解释下为什么么？：KLinearMarlin换成KLinearTorch 和 将里面所有的flash_attention_2换成eager，我也是4090编译后报cuda dsa到错误。

bsakaguchi commented 2026-10-29 14:36:26 +00:00

Author

Owner

Copy link

@SongXiaoMao commented on GitHub (Feb 17, 2025):

你的模型是不是动态量化的？好像不支持1.58bit这样的动态量化模型

<!-- gh-comment-id:2661993941 --> @SongXiaoMao commented on GitHub (Feb 17, 2025): 你的模型是不是动态量化的？好像不支持1.58bit这样的动态量化模型

bsakaguchi commented 2026-10-29 14:36:26 +00:00

Author

Owner

Copy link

@xzq-xu commented on GitHub (Feb 22, 2025):

参考 #374 中 20000419 、ShinoharaHare 两位大佬的回答，修改一下配置文件（启动时指定哪个就修改哪个）和 forward_windows
例如ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu-4.yaml
启动时 使用 --optimize_rule_path 指定该文件，启动webui时 使用--optimize_config_path （这个他们说要改的，还没改）

<!-- gh-comment-id:2676152600 --> @xzq-xu commented on GitHub (Feb 22, 2025): 参考 #374 中 20000419 、ShinoharaHare 两位大佬的回答，修改一下配置文件（启动时指定哪个就修改哪个）和 forward_windows 例如ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu-4.yaml 启动时 使用 --optimize_rule_path 指定该文件，启动webui时 使用--optimize_config_path （这个他们说要改的，还没改）

bsakaguchi commented 2026-10-29 14:36:27 +00:00

Author

Owner

Copy link

@ErvinXie commented on GitHub (Dec 11, 2025):

This issue has been automatically closed due to inactivity for 60 days.

If you believe this issue is still relevant, please feel free to reopen it with additional information or context.

Thank you for your contribution to KTransformers!

---

此 issue 因超过 60 天无活动而被自动关闭。

如果您认为此问题仍然存在，请随时重新打开并提供更多信息或上下文。

感谢您对 KTransformers 的贡献！

<!-- gh-comment-id:3639927787 --> @ErvinXie commented on GitHub (Dec 11, 2025): This issue has been automatically closed due to inactivity for 60 days. If you believe this issue is still relevant, please feel free to reopen it with additional information or context. Thank you for your contribution to KTransformers! --- 此 issue 因超过 60 天无活动而被自动关闭。 如果您认为此问题仍然存在，请随时重新打开并提供更多信息或上下文。 感谢您对 KTransformers 的贡献！

Sign in to join this conversation.

No Branch/Tag specified

Branches Tags

main

auto/sync-sglang

gh-pages

docs/kt-ft-figure2-single-column-20261010

perf/bf16-grad-norm-20261010

docs/kt-ft-paper-20261008

release/20260911-carrier-repair

release/20260911-ci-python

release/20260911-pypi

ci/four-main-pypi-release

ci/model-e2e-acceptance

release/0.7.0.post3-frozen-pypi

fix/glm53-index-share-sync

release/0.7.0.post2-frozen-pypi

hotfix/0.7.0.post2-pypi-runtime

fix/avx2-wheel-feature-isolation

fix/release-self-hosted-runner

release/automate-kt-sft-pypi

support-glm5-next-djw

docs/deepseek-v4-flash-docker

ovowei-patch-3

support-glm52-djw

doc-reorg-entrypoints-support-matrix

bump-sglang-pr31

docs-v061-refresh

fp4-moe-amx

flatten-ktransformers-shim

archive-kt-sft

kt-kernel-torch-range-v061

sft-whl

sft

docs/gosim-2026-and-roadmap-link

ovowei-patch-2

ovowei-patch-1

revert-1918-fix/rocm-cpuinfer-stream-bridge

chore/kt-layerwise-prefill-main

chore/kt-layerwise-prefill-label

sft-rel

support-glm51-djw

release/v0.5.3

chore/kt-run-numa-nodes-unified

mtp

ksft-sglang

avx2

fix/sglang-kt-detection

layerwise-prefill-opt

feat/mistral-loader-support

fix-docker-build

minimax-m2.5

qwen3.5

add-maintainers

oql-doc

cli-dev-ljq

ljq-cli-dev-new

JimmyPeilinLi-patch-2

kimi_k2.5

oql-dev

experts_sched

JimmyPeilinLi-patch-1

ErvinXie-patch-1

ksft-llama

glm47_fp8

debug_llama

refactor_sft

ljq-cli-dev

refactor_sft_int4_debug

lut-nvfp4

fix-import

fix-deploy-djw

cpu-fix

ljq-dev-1

route-moe

sosp25-ae

v0.7.2

paper-ktft-v1.1

paper-ktft-v1

v0.7.1

v0.7.0.post4

v0.7.0.post1

v0.7.0

v0.6.4

v0.6.3.post1

v0.6.3

v0.6.2.post3

v0.6.2.post2

v0.6.2.post1

v0.6.2

v0.6.1

v0.6.1.post1

v0.5.3

v0.5.2.post1

v0.5.1

v0.5.0.post1

v0.5.0

v0.4.4

v0.4.3

v0.4.2

v0.4.1

v0.3.2

v0.3.1

v0.3

v0.2.4post1

v0.2.4

v0.2.3post2

v0.2.3post1

v0.2.3

v0.2.2

v0.2.2rc2

v0.2.2rc1

v0.2.1.post1

v0.2.1

v0.2.0

v0.1.4

v0.1.3

v0.1.2

v0.1.1

v0.1.0

Labels

Clear labels   

bug

  

duplicate

  

enhancement

  

good first issue

  

help wanted

  

pull-request

Mirrored from GitHub Pull Request

  

stale

No labels

bug

duplicate

enhancement

good first issue

help wanted

pull-request

stale

Milestone

Clear milestone

No items

No milestone

Projects

Clear projects

No items

No project

Assignees

Clear assignees

No assignees

1 participant

Notifications

Subscribe

Due date

The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference

kvcache-ai/ktransformers#242

No description provided.