deepseek-ai/DeepSeek-MoE
1
0
Fork 0
mirror of https://github.com/deepseek-ai/DeepSeek-MoE.git synced 2026-11-05 00:57:43 +00:00
Code Issues 24 Projects Packages Wiki Activity

[GH-ISSUE #3] 求助：模型无法加载 #1

New issue
Closed
opened 2026-10-26 21:01:29 +00:00 by bsakaguchi · 4 comments
bsakaguchi commented 2026-10-26 21:01:29 +00:00
Owner
Copy link

Originally created by @KMnO4-zx on GitHub (Jan 11, 2024).
Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-MoE/issues/3

您好：

我在加载moe模型的时候出现了一些问题

报错显示缺少flash_attn而无法加载模型，但在我的环境中是有flash_attn的。

为此特地新开了一个conda环境，依然如此。

希望可以得到您的帮助~

image

Originally created by @KMnO4-zx on GitHub (Jan 11, 2024). Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-MoE/issues/3 您好： 我在加载moe模型的时候出现了一些问题 报错显示缺少`flash_attn`而无法加载模型，但在我的环境中是有`flash_attn`的。 为此特地新开了一个conda环境，依然如此。 希望可以得到您的帮助~ ![image](https://github.com/deepseek-ai/DeepSeek-MoE/assets/77671993/0eeb35e1-ea53-4813-a3b8-39fea5984636)
bsakaguchi commented 2026-10-26 21:01:31 +00:00
Author
Owner
Copy link

@zwd003 commented on GitHub (Jan 11, 2024):

这是transformers没有检测到flash_attn，可以试试更新transformers到4.36.2版本，使用pip install flash_attn命令安装flash attention，避免从源代码安装

<!-- gh-comment-id:1886675329 --> @zwd003 commented on GitHub (Jan 11, 2024): 这是transformers没有检测到flash_attn，可以试试更新transformers到4.36.2版本，使用pip install flash_attn命令安装flash attention，避免从源代码安装
bsakaguchi commented 2026-10-26 21:01:31 +00:00
Author
Owner
Copy link

@KMnO4-zx commented on GitHub (Jan 11, 2024):

好的 感谢~

<!-- gh-comment-id:1886698571 --> @KMnO4-zx commented on GitHub (Jan 11, 2024): 好的 感谢~
bsakaguchi commented 2026-10-26 21:01:31 +00:00
Author
Owner
Copy link

@GXKIM commented on GitHub (Feb 1, 2024):

好的 感谢~

A800是不是不能安装flash_attn

<!-- gh-comment-id:1920782909 --> @GXKIM commented on GitHub (Feb 1, 2024): > 好的 感谢~ A800是不是不能安装flash_attn
bsakaguchi commented 2026-10-26 21:01:31 +00:00
Author
Owner
Copy link

@GXKIM commented on GitHub (Feb 1, 2024):

这是transformers没有检测到flash_attn，可以试试更新transformers到4.36.2版本，使用pip install flash_attn命令安装flash attention，避免从源代码安装
image

从官方安装的flash attention ,transformers他也升级了，但是还是识别不到，
image
image

<!-- gh-comment-id:1920873199 --> @GXKIM commented on GitHub (Feb 1, 2024): > 这是transformers没有检测到flash_attn，可以试试更新transformers到4.36.2版本，使用pip install flash_attn命令安装flash attention，避免从源代码安装 <img width="234" alt="image" src="https://github.com/deepseek-ai/DeepSeek-MoE/assets/125621025/fda17823-f321-44a7-b8a8-b6c4edceedef"> 从官方安装的flash attention ,transformers他也升级了，但是还是识别不到， <img width="185" alt="image" src="https://github.com/deepseek-ai/DeepSeek-MoE/assets/125621025/def2def2-d297-4fd8-a325-7a114a893ba6"> <img width="673" alt="image" src="https://github.com/deepseek-ai/DeepSeek-MoE/assets/125621025/462ad3a4-7af2-41cb-b248-073e0ca3693d">
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
main
No results found.
Labels
Clear labels   
pull-request
Mirrored from GitHub Pull Request

  
WIP
No labels
pull-request
WIP
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
deepseek-ai/DeepSeek-MoE#1
No description provided.