[GH-ISSUE #1395] 10.6版本大幅减少推理时间能否适用A卡呢 #903

New issue

Open

opened 2026-10-20 10:04:06 +00:00 by bsakaguchi · 2 comments

bsakaguchi commented

2026-10-20 10:04:06 +00:00

Owner

Originally created by @Esingpawn on GitHub (Oct 8, 2023).
Original GitHub issue: https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/issues/1395

虽然N卡时间大幅减少，但是A卡的延迟还是很高。求作者优化

Originally created by @Esingpawn on GitHub (Oct 8, 2023). Original GitHub issue: https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/issues/1395 虽然N卡时间大幅减少，但是A卡的延迟还是很高。求作者优化

bsakaguchi added the

following up

label

2026-10-20 10:04:06 +00:00

bsakaguchi commented

2026-10-20 10:04:06 +00:00

Author

Owner

@yxlllc commented on GitHub (Oct 8, 2023):

directml很难优化到cuda的水平，rocm现在torch支持不够好

@yxlllc commented on GitHub (Oct 8, 2023): directml很难优化到cuda的水平，rocm现在torch支持不够好

bsakaguchi commented

2026-10-20 10:04:06 +00:00

Author

Owner

@RVC-Boss commented on GitHub (Oct 10, 2023):

目前深度学习的硬件效率和社区生态上A卡确实比N卡弱一些，但是用肯定是能用的，而且吊打CPU和核显
同等理论性能的A卡和N卡，目前A卡推理大概比N卡慢个30%~40%吧
1006的优化有肯定是有，但是目前看下来，A卡的瓶颈可能不是在我们优化的地方，而是模型推理延迟本身了

@RVC-Boss commented on GitHub (Oct 10, 2023): 目前深度学习的硬件效率和社区生态上A卡确实比N卡弱一些，但是用肯定是能用的，而且吊打CPU和核显同等理论性能的A卡和N卡，目前A卡推理大概比N卡慢个30%~40%吧 1006的优化有肯定是有，但是目前看下来，A卡的瓶颈可能不是在我们优化的地方，而是模型推理延迟本身了