[GH-ISSUE #147] 请问vl2-small模型推理一张10*24的图片一般需要多久呢? #123

Open
opened 2026-10-26 21:12:19 +00:00 by bsakaguchi · 1 comment
Owner

Originally created by @EvnXie on GitHub (Nov 25, 2025).
Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-VL2/issues/147

本地部署了deepseek-vl2-small模型,GPU是一台英伟达A100,显存为40G,输入的图片是10*24的多周期K线图,输出token最长为512,目前推理的时长是10秒左右,请问这个速度正常吗?比预期的要慢很多,有没有大佬知道这种情况一般需要耗时多久呢?除了更换显卡外有没有其他能提速的方法?

Originally created by @EvnXie on GitHub (Nov 25, 2025). Original GitHub issue: https://github.com/deepseek-ai/DeepSeek-VL2/issues/147 本地部署了deepseek-vl2-small模型,GPU是一台英伟达A100,显存为40G,输入的图片是10*24的多周期K线图,输出token最长为512,目前推理的时长是10秒左右,请问这个速度正常吗?比预期的要慢很多,有没有大佬知道这种情况一般需要耗时多久呢?除了更换显卡外有没有其他能提速的方法?
Author
Owner

@Mechanical-Computer commented on GitHub (Feb 9, 2026):

应该很快,你可以先试试web_demo.py,这个方便许多,我用1980*1080的都是秒回

<!-- gh-comment-id:3871512233 --> @Mechanical-Computer commented on GitHub (Feb 9, 2026): 应该很快,你可以先试试web_demo.py,这个方便许多,我用1980*1080的都是秒回
Sign in to join this conversation.
No labels
pull-request
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
deepseek-ai/DeepSeek-VL2#123
No description provided.