[GH-ISSUE #34] Mooncake Transfer Engine 支持华为的Ascend昇腾平台和NPU显卡吗 #19

Closed
opened 2026-10-29 21:07:57 +00:00 by bsakaguchi · 1 comment
Owner

Originally created by @zhaofangtao on GitHub (Dec 13, 2024).
Original GitHub issue: https://github.com/kvcache-ai/Mooncake/issues/34

看doc文档,需要配置cuda环境。 现在算力资源都在国产化,请问Mooncake Transfer Engine 能适配华为的Ascend昇腾平台和NPU显卡吗?

Originally created by @zhaofangtao on GitHub (Dec 13, 2024). Original GitHub issue: https://github.com/kvcache-ai/Mooncake/issues/34 看doc文档,需要配置cuda环境。 现在算力资源都在国产化,请问Mooncake Transfer Engine 能适配华为的Ascend昇腾平台和NPU显卡吗?
Author
Owner

@alogfans commented on GitHub (Dec 13, 2024):

Mooncake 适配国产化算力设备是未来工作的一个重要部分。Transfer Engine 自身支持 RoCE/eRDMA 等网络,因此可使用国产设备部署。CUDA 用于实现 GPU VRAM 数据直传远程 DRAM 功能,该功能需使用 GPUDirect RDMA。如果国产卡有类似的功能接口可以移植。也可以由用户自行实现经本地 DRAM 中转将数据传到远程 DRAM(多一次拷贝),这种模式下不需要开启 USE_CUDA 开关。

<!-- gh-comment-id:2540441617 --> @alogfans commented on GitHub (Dec 13, 2024): Mooncake 适配国产化算力设备是未来工作的一个重要部分。Transfer Engine 自身支持 RoCE/eRDMA 等网络,因此可使用国产设备部署。CUDA 用于实现 GPU VRAM 数据直传远程 DRAM 功能,该功能需使用 GPUDirect RDMA。如果国产卡有类似的功能接口可以移植。也可以由用户自行实现经本地 DRAM 中转将数据传到远程 DRAM(多一次拷贝),这种模式下不需要开启 USE_CUDA 开关。
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
kvcache-ai/Mooncake#19
No description provided.