[GH-ISSUE #1] 富有且慷慨 #3

Closed
opened 2026-10-26 09:52:06 +00:00 by bsakaguchi · 61 comments
Owner

Originally created by @shaojiewang on GitHub (Feb 25, 2025).
Original GitHub issue: https://github.com/deepseek-ai/DeepEP/issues/1

还想再说一遍 deepseek ai太有诚意了!!!
富有且慷慨
夸一夸

Originally created by @shaojiewang on GitHub (Feb 25, 2025). Original GitHub issue: https://github.com/deepseek-ai/DeepEP/issues/1 还想再说一遍 deepseek ai太有诚意了!!! 富有且慷慨 夸一夸
Author
Owner

@JustinTong0323 commented on GitHub (Feb 25, 2025):

源神!

<!-- gh-comment-id:2680261099 --> @JustinTong0323 commented on GitHub (Feb 25, 2025): 源神!
Author
Owner

@Leander-wang commented on GitHub (Feb 25, 2025):

所以为啥是issue

<!-- gh-comment-id:2680262812 --> @Leander-wang commented on GitHub (Feb 25, 2025): 所以为啥是issue
Author
Owner

@perfectionsit commented on GitHub (Feb 25, 2025):

属于国人的”此地到此一游“吧哈哈哈,希望以后的夸赞都在这个issue下吧,不要再多占用issue了

<!-- gh-comment-id:2680270696 --> @perfectionsit commented on GitHub (Feb 25, 2025): 属于国人的”此地到此一游“吧哈哈哈,希望以后的夸赞都在这个issue下吧,不要再多占用issue了
Author
Owner

@unkownY commented on GitHub (Feb 25, 2025):

有没有大神可以用大白话解释解释,小白看不太懂

<!-- gh-comment-id:2680272323 --> @unkownY commented on GitHub (Feb 25, 2025): 有没有大神可以用大白话解释解释,小白看不太懂
Author
Owner

@Shan19900305 commented on GitHub (Feb 25, 2025):

强

<!-- gh-comment-id:2680275488 --> @Shan19900305 commented on GitHub (Feb 25, 2025): 强
Author
Owner

@Aucannot commented on GitHub (Feb 25, 2025):

有没有大神可以用大白话解释解释,小白看不太懂

实际他们在这个仓库的readme里面已经为你划好重点了:https://github.com/deepseek-ai/open-infra-index

<!-- gh-comment-id:2680278195 --> @Aucannot commented on GitHub (Feb 25, 2025): >有没有大神可以用大白话解释解释,小白看不太懂 实际他们在这个仓库的readme里面已经为你划好重点了:https://github.com/deepseek-ai/open-infra-index
Author
Owner

@Appointat commented on GitHub (Feb 25, 2025):

love you, deepseek!

<!-- gh-comment-id:2680283341 --> @Appointat commented on GitHub (Feb 25, 2025): love you, deepseek!
Author
Owner

@UlionTse commented on GitHub (Feb 25, 2025):

I'm here!

<!-- gh-comment-id:2680285153 --> @UlionTse commented on GitHub (Feb 25, 2025): I'm here!
Author
Owner

@txy6666yr commented on GitHub (Feb 25, 2025):

合影留念! Deepseek ! yyds

<!-- gh-comment-id:2680294722 --> @txy6666yr commented on GitHub (Feb 25, 2025): 合影留念! Deepseek ! yyds
Author
Owner

@linweijiang commented on GitHub (Feb 25, 2025):

cool guy

<!-- gh-comment-id:2680297418 --> @linweijiang commented on GitHub (Feb 25, 2025): cool guy
Author
Owner

@mapper321 commented on GitHub (Feb 25, 2025):

牛逼

<!-- gh-comment-id:2680298606 --> @mapper321 commented on GitHub (Feb 25, 2025): 牛逼
Author
Owner

@Leander-wang commented on GitHub (Feb 25, 2025):

不知道在单卡表现怎么样,似乎这个更适合在支持nvlink 和 RDMA高速网卡的分布式部署的情况下发挥作用。看情况也提高了gpu间的利用率,节省了通信开销

<!-- gh-comment-id:2680302627 --> @Leander-wang commented on GitHub (Feb 25, 2025): 不知道在单卡表现怎么样,似乎这个更适合在支持nvlink 和 RDMA高速网卡的分布式部署的情况下发挥作用。看情况也提高了gpu间的利用率,节省了通信开销
Author
Owner

@zhanglzu commented on GitHub (Feb 25, 2025):

到此一游

<!-- gh-comment-id:2680307267 --> @zhanglzu commented on GitHub (Feb 25, 2025): 到此一游
Author
Owner

@ZZDoog commented on GitHub (Feb 25, 2025):

合影

<!-- gh-comment-id:2680324851 --> @ZZDoog commented on GitHub (Feb 25, 2025): 合影
Author
Owner

@kuantian-zhang commented on GitHub (Feb 25, 2025):

👍👍👍👍👍

<!-- gh-comment-id:2680325558 --> @kuantian-zhang commented on GitHub (Feb 25, 2025): :thumbsup::thumbsup::thumbsup::thumbsup::thumbsup:
Author
Owner

@kasparovfeng commented on GitHub (Feb 25, 2025):

留个名字

<!-- gh-comment-id:2680329403 --> @kasparovfeng commented on GitHub (Feb 25, 2025): 留个名字
Author
Owner

@Mazeqi commented on GitHub (Feb 25, 2025):

1

<!-- gh-comment-id:2680331575 --> @Mazeqi commented on GitHub (Feb 25, 2025): 1
Author
Owner

@littlefox0990 commented on GitHub (Feb 25, 2025):

源神,启动!

<!-- gh-comment-id:2680348288 --> @littlefox0990 commented on GitHub (Feb 25, 2025): 源神,启动!
Author
Owner

@werlini commented on GitHub (Feb 25, 2025):

合影留念哈哈哈哈

<!-- gh-comment-id:2680362510 --> @werlini commented on GitHub (Feb 25, 2025): 合影留念哈哈哈哈
Author
Owner

@pskun commented on GitHub (Feb 25, 2025):

OpenAI !!!

<!-- gh-comment-id:2680362777 --> @pskun commented on GitHub (Feb 25, 2025): OpenAI !!!
Author
Owner

@AIBionics commented on GitHub (Feb 25, 2025):

源神启动,合照留影!

<!-- gh-comment-id:2680363840 --> @AIBionics commented on GitHub (Feb 25, 2025): 源神启动,合照留影!
Author
Owner

@Zhihaoi commented on GitHub (Feb 25, 2025):

👍👍👍

<!-- gh-comment-id:2680370291 --> @Zhihaoi commented on GitHub (Feb 25, 2025): 👍👍👍
Author
Owner

@464946021 commented on GitHub (Feb 25, 2025):

留下人类的一小步

<!-- gh-comment-id:2680373309 --> @464946021 commented on GitHub (Feb 25, 2025): 留下人类的一小步
Author
Owner

@hrshy0629 commented on GitHub (Feb 25, 2025):

真正的OpenAI:DeepSeek

<!-- gh-comment-id:2680384113 --> @hrshy0629 commented on GitHub (Feb 25, 2025): 真正的OpenAI:DeepSeek
Author
Owner

@corwien commented on GitHub (Feb 25, 2025):

Love you DeepSeek, Real Open AI !!!

<!-- gh-comment-id:2680384759 --> @corwien commented on GitHub (Feb 25, 2025): Love you DeepSeek, Real Open AI !!!
Author
Owner

@div002123 commented on GitHub (Feb 25, 2025):

不觉明厉

<!-- gh-comment-id:2680388893 --> @div002123 commented on GitHub (Feb 25, 2025): 不觉明厉
Author
Owner

@helulu3 commented on GitHub (Feb 25, 2025):

源神!

<!-- gh-comment-id:2680390936 --> @helulu3 commented on GitHub (Feb 25, 2025): 源神!
Author
Owner

@oslook commented on GitHub (Feb 25, 2025):

Real Open Source!

<!-- gh-comment-id:2680398695 --> @oslook commented on GitHub (Feb 25, 2025): Real Open Source!
Author
Owner

@MouseSun846 commented on GitHub (Feb 25, 2025):

vllm 与sglang什么时候能支持?有知道的吗?

<!-- gh-comment-id:2680450853 --> @MouseSun846 commented on GitHub (Feb 25, 2025): vllm 与sglang什么时候能支持?有知道的吗?
Author
Owner

@kevinhuangxf commented on GitHub (Feb 25, 2025):

比马斯克还了不起的开源精神!👍
源神,启动!🚀🚀

<!-- gh-comment-id:2680472589 --> @kevinhuangxf commented on GitHub (Feb 25, 2025): 比马斯克还了不起的开源精神!👍 源神,启动!🚀🚀
Author
Owner

@sitebaobao commented on GitHub (Feb 25, 2025):

点赞

<!-- gh-comment-id:2680503972 --> @sitebaobao commented on GitHub (Feb 25, 2025): 点赞
Author
Owner

@mudong0419 commented on GitHub (Feb 25, 2025):

继续加油!

<!-- gh-comment-id:2680518673 --> @mudong0419 commented on GitHub (Feb 25, 2025): 继续加油!
Author
Owner

@qc130181 commented on GitHub (Feb 25, 2025):

到此一游

<!-- gh-comment-id:2680557471 --> @qc130181 commented on GitHub (Feb 25, 2025): 到此一游
Author
Owner

@huangjim commented on GitHub (Feb 25, 2025):

继续加油!点赞

<!-- gh-comment-id:2680649238 --> @huangjim commented on GitHub (Feb 25, 2025): 继续加油!点赞
Author
Owner

@wangerzi commented on GitHub (Feb 25, 2025):

源神启动!

<!-- gh-comment-id:2680664496 --> @wangerzi commented on GitHub (Feb 25, 2025): 源神启动!
Author
Owner

@nosqlcoco commented on GitHub (Feb 25, 2025):

新时代埃隆马斯克

<!-- gh-comment-id:2680693568 --> @nosqlcoco commented on GitHub (Feb 25, 2025): 新时代埃隆马斯克
Author
Owner

@songhexiang commented on GitHub (Feb 25, 2025):

源神启动,火钳刘明

<!-- gh-comment-id:2680706859 --> @songhexiang commented on GitHub (Feb 25, 2025): 源神启动,火钳刘明
Author
Owner

@tanwb0223 commented on GitHub (Feb 25, 2025):

留下人类的一小步 👍👍👍👍👍👍👍👍

<!-- gh-comment-id:2680709468 --> @tanwb0223 commented on GitHub (Feb 25, 2025): 留下人类的一小步 👍👍👍👍👍👍👍👍
Author
Owner

@liamhauw commented on GitHub (Feb 25, 2025):

DeepSeek

<!-- gh-comment-id:2680719343 --> @liamhauw commented on GitHub (Feb 25, 2025): DeepSeek
Author
Owner

@yuanf225 commented on GitHub (Feb 25, 2025):

真正的openAI

<!-- gh-comment-id:2680723057 --> @yuanf225 commented on GitHub (Feb 25, 2025): 真正的openAI
Author
Owner

@horse6 commented on GitHub (Feb 25, 2025):

之后会不会开个讨论区解答一下疑问,另外单卡性能有哪有对比吗

<!-- gh-comment-id:2680751910 --> @horse6 commented on GitHub (Feb 25, 2025): 之后会不会开个讨论区解答一下疑问,另外单卡性能有哪有对比吗
Author
Owner

@huangmingguo commented on GitHub (Feb 25, 2025):

deepseek 牛批plus啊

<!-- gh-comment-id:2680756179 --> @huangmingguo commented on GitHub (Feb 25, 2025): deepseek 牛批plus啊
Author
Owner

@CrossIce commented on GitHub (Feb 25, 2025):

牛批,打卡

<!-- gh-comment-id:2680760126 --> @CrossIce commented on GitHub (Feb 25, 2025): 牛批,打卡
Author
Owner

@kgw1 commented on GitHub (Feb 25, 2025):

尝试用DeepSeek总结了一下README.md的内容:

总结与解读

DeepEP 是一个专为 Mixture-of-Experts(MoE) 和 专家并行(EP) 设计的通信库,核心目标是优化大规模模型训练与推理中的通信效率。其核心功能包括:

  1. 高性能 GPU 内核:
    • 高吞吐模式:支持跨 NVLink 和 RDMA 的高效数据转发(如训练和推理预填充阶段),在 H800 GPU 上可实现 150+ GB/s 的 NVLink 带宽和 40+ GB/s 的 RDMA 带宽。
    • 低延迟模式:针对推理解码阶段优化,采用纯 RDMA 通信,延迟低至 160 微秒级,并支持通信-计算重叠技术(无需占用 GPU SM 资源)。
  2. 低精度支持:集成 FP8 分派和 BF16 合并,降低内存占用并提升计算效率。
  3. 网络优化:支持 InfiniBand 流量隔离、自适应路由(低延迟模式)和虚拟通道配置,减少网络拥塞风险。
  4. 易用性:提供 Python API 和示例代码,支持 PyTorch 集成,并与 CUDA Graph 兼容。

对业界的意义

  1. 推动 MoE 模型规模化:通过高效通信解决 MoE 架构中专家并行带来的通信瓶颈,加速千亿级模型的训练与推理。
  2. 降低硬件成本:优化 NVLink 和 RDMA 带宽利用率,减少对超高性能网络的依赖,提升现有 GPU 集群的性价比。
  3. 技术标准化:为分布式 MoE 提供开源实现参考,促进大模型并行技术的生态发展。

对大模型应用开发者的意义

  1. 简化并行开发:封装底层通信细节,开发者可专注于模型逻辑,无需手动优化复杂的跨节点通信。
  2. 性能调优工具:提供自动调优接口(如 SM 控制、缓冲区配置),帮助开发者在不同硬件环境下实现最佳性能。
  3. 支持全流程优化:覆盖训练、推理预填充和解码阶段,提供端到端的高效解决方案。

对普通大模型用户的意义

  1. 更快的推理速度:低延迟内核可显著减少生成式任务(如文本生成)的响应时间。
  2. 更低的服务成本:高资源利用率可降低云服务计费成本,例如减少 GPU 实例数量或缩短训练时间。
  3. 支持更大模型应用:用户可间接体验更复杂的 MoE 模型(如万亿参数级),享受更高质量的生成结果。

核心优势

  • 场景适配灵活:针对训练、预填充、解码等不同阶段提供差异化优化策略。
  • 硬件兼容性:深度优化 Hopper GPU 性能,未来可能扩展至更多架构。
  • 开源生态:MIT 许可证(部分 NVSHMEM 代码除外)降低了商业应用门槛。

总之,DeepEP 通过解决 MoE 并行通信的核心痛点,为行业提供了高效、易用的工具,有望成为大规模模型训练与推理的基础设施之一。

<!-- gh-comment-id:2680770734 --> @kgw1 commented on GitHub (Feb 25, 2025): 尝试用DeepSeek总结了一下README.md的内容: ### 总结与解读 DeepEP 是一个专为 **Mixture-of-Experts(MoE)** 和 **专家并行(EP)** 设计的通信库,核心目标是优化大规模模型训练与推理中的通信效率。其核心功能包括: 1. **高性能 GPU 内核**: - **高吞吐模式**:支持跨 NVLink 和 RDMA 的高效数据转发(如训练和推理预填充阶段),在 H800 GPU 上可实现 150+ GB/s 的 NVLink 带宽和 40+ GB/s 的 RDMA 带宽。 - **低延迟模式**:针对推理解码阶段优化,采用纯 RDMA 通信,延迟低至 160 微秒级,并支持通信-计算重叠技术(无需占用 GPU SM 资源)。 2. **低精度支持**:集成 FP8 分派和 BF16 合并,降低内存占用并提升计算效率。 3. **网络优化**:支持 InfiniBand 流量隔离、自适应路由(低延迟模式)和虚拟通道配置,减少网络拥塞风险。 4. **易用性**:提供 Python API 和示例代码,支持 PyTorch 集成,并与 CUDA Graph 兼容。 ### 对业界的意义 1. **推动 MoE 模型规模化**:通过高效通信解决 MoE 架构中专家并行带来的通信瓶颈,加速千亿级模型的训练与推理。 2. **降低硬件成本**:优化 NVLink 和 RDMA 带宽利用率,减少对超高性能网络的依赖,提升现有 GPU 集群的性价比。 3. **技术标准化**:为分布式 MoE 提供开源实现参考,促进大模型并行技术的生态发展。 ### 对大模型应用开发者的意义 1. **简化并行开发**:封装底层通信细节,开发者可专注于模型逻辑,无需手动优化复杂的跨节点通信。 2. **性能调优工具**:提供自动调优接口(如 SM 控制、缓冲区配置),帮助开发者在不同硬件环境下实现最佳性能。 3. **支持全流程优化**:覆盖训练、推理预填充和解码阶段,提供端到端的高效解决方案。 ### 对普通大模型用户的意义 1. **更快的推理速度**:低延迟内核可显著减少生成式任务(如文本生成)的响应时间。 2. **更低的服务成本**:高资源利用率可降低云服务计费成本,例如减少 GPU 实例数量或缩短训练时间。 3. **支持更大模型应用**:用户可间接体验更复杂的 MoE 模型(如万亿参数级),享受更高质量的生成结果。 ### 核心优势 - **场景适配灵活**:针对训练、预填充、解码等不同阶段提供差异化优化策略。 - **硬件兼容性**:深度优化 Hopper GPU 性能,未来可能扩展至更多架构。 - **开源生态**:MIT 许可证(部分 NVSHMEM 代码除外)降低了商业应用门槛。 总之,DeepEP 通过解决 MoE 并行通信的核心痛点,为行业提供了高效、易用的工具,有望成为大规模模型训练与推理的基础设施之一。
Author
Owner

@BaiStone2017 commented on GitHub (Feb 25, 2025):

留影

<!-- gh-comment-id:2680783722 --> @BaiStone2017 commented on GitHub (Feb 25, 2025): 留影
Author
Owner

@KG2013 commented on GitHub (Feb 25, 2025):

NB

<!-- gh-comment-id:2680785861 --> @KG2013 commented on GitHub (Feb 25, 2025): NB
Author
Owner

@Drumny commented on GitHub (Feb 25, 2025):

牛的

<!-- gh-comment-id:2680795268 --> @Drumny commented on GitHub (Feb 25, 2025): 牛的
Author
Owner

@daneren commented on GitHub (Feb 25, 2025):

赞美源神

<!-- gh-comment-id:2680799079 --> @daneren commented on GitHub (Feb 25, 2025): 赞美源神
Author
Owner

@NebulaMao commented on GitHub (Feb 25, 2025):

占issue蹭这种无意义的热度有什么意义吗?麻烦关闭issue,这和到景区刻到此一游一样恶心

<!-- gh-comment-id:2680818264 --> @NebulaMao commented on GitHub (Feb 25, 2025): 占issue蹭这种无意义的热度有什么意义吗?麻烦关闭issue,这和到景区刻到此一游一样恶心
Author
Owner

@zghnwsq commented on GitHub (Feb 25, 2025):

real open ai

<!-- gh-comment-id:2680852072 --> @zghnwsq commented on GitHub (Feb 25, 2025): real open ai
Author
Owner

@a233894432 commented on GitHub (Feb 25, 2025):

路过看看

<!-- gh-comment-id:2680854212 --> @a233894432 commented on GitHub (Feb 25, 2025): 路过看看
Author
Owner

@mqvideo commented on GitHub (Feb 25, 2025):

有没有大神可以用大白话解释解释,小白看不太懂

实际他们在这个仓库的readme里面已经为你划好重点了:https://github.com/deepseek-ai/open-infra-index

还是好人多

<!-- gh-comment-id:2680859202 --> @mqvideo commented on GitHub (Feb 25, 2025): > > 有没有大神可以用大白话解释解释,小白看不太懂 > > 实际他们在这个仓库的readme里面已经为你划好重点了:https://github.com/deepseek-ai/open-infra-index 还是好人多
Author
Owner

@zengxiuhao commented on GitHub (Feb 25, 2025):

please use english not chinese

<!-- gh-comment-id:2680870043 --> @zengxiuhao commented on GitHub (Feb 25, 2025): please use english not chinese
Author
Owner

@Gavin123 commented on GitHub (Feb 25, 2025):

👍🏻

<!-- gh-comment-id:2680995032 --> @Gavin123 commented on GitHub (Feb 25, 2025): 👍🏻
Author
Owner

@Jackhally520 commented on GitHub (Feb 25, 2025):

真才是真正的open ai

<!-- gh-comment-id:2681099677 --> @Jackhally520 commented on GitHub (Feb 25, 2025): 真才是真正的open ai
Author
Owner

@charleypeng commented on GitHub (Feb 25, 2025):

火钳留名

<!-- gh-comment-id:2681131379 --> @charleypeng commented on GitHub (Feb 25, 2025): 火钳留名
Author
Owner

@gmm932 commented on GitHub (Feb 25, 2025):

牛的,牛的,加油,给我破

<!-- gh-comment-id:2681182000 --> @gmm932 commented on GitHub (Feb 25, 2025): 牛的,牛的,加油,给我破
Author
Owner

@auroraustc commented on GitHub (Feb 25, 2025):

火钳刘明,打卡!

<!-- gh-comment-id:2681256233 --> @auroraustc commented on GitHub (Feb 25, 2025): 火钳刘明,打卡!
Author
Owner

@Lydanne commented on GitHub (Feb 25, 2025):

把英伟达的骨灰杨了

<!-- gh-comment-id:2681405063 --> @Lydanne commented on GitHub (Feb 25, 2025): 把英伟达的骨灰杨了
Author
Owner

@chenwuang commented on GitHub (Feb 25, 2025):

打卡

<!-- gh-comment-id:2681658631 --> @chenwuang commented on GitHub (Feb 25, 2025): 打卡
Author
Owner

@huamusanren commented on GitHub (Feb 26, 2025):

love deepseek , at hk

<!-- gh-comment-id:2683958564 --> @huamusanren commented on GitHub (Feb 26, 2025): love deepseek , at hk
Sign in to join this conversation.
No labels
pull-request
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
deepseek-ai/DeepEP#3
No description provided.