[GH-ISSUE #789] 指定显卡号 #572

New issue

Closed

opened 2026-10-29 14:41:21 +00:00 by bsakaguchi · 3 comments

bsakaguchi commented

2026-10-29 14:41:21 +00:00

Owner

Originally created by @ccp123456789 on GitHub (Mar 4, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/789

默认好像是cuda：0；怎么指定服务器上的某张显卡，CUDA_VISIBLE_DEVICES貌似是不行的

Originally created by @ccp123456789 on GitHub (Mar 4, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/789 默认好像是cuda：0；怎么指定服务器上的某张显卡，CUDA_VISIBLE_DEVICES貌似是不行的

bsakaguchi closed this issue

2026-10-29 14:41:21 +00:00

bsakaguchi commented

2026-10-29 14:41:22 +00:00

Author

Owner

@ovowei commented on GitHub (Mar 4, 2025):

CUDA_VISIBLE_DEVICES应该是可以的，命令为export CUDA_VISIBLE_DEVICES={id}，如果还有问题请提供完整的上下文和运行指令。

@ovowei commented on GitHub (Mar 4, 2025): CUDA_VISIBLE_DEVICES应该是可以的，命令为`export CUDA_VISIBLE_DEVICES={id}`，如果还有问题请提供完整的上下文和运行指令。

bsakaguchi commented

2026-10-29 14:41:22 +00:00

Author

Owner

@ccp123456789 commented on GitHub (Mar 5, 2025):

CUDA_VISIBLE_DEVICES应该是可以的，命令为export CUDA_VISIBLE_DEVICES={id}，如果还有问题请提供完整的上下文和运行指令。

运行命令就是

但是运行的日志还是将权重加载到第1张卡

@ccp123456789 commented on GitHub (Mar 5, 2025): > CUDA_VISIBLE_DEVICES应该是可以的，命令为`export CUDA_VISIBLE_DEVICES={id}`，如果还有问题请提供完整的上下文和运行指令。运行命令就是 ![Image](https://github.com/user-attachments/assets/2e1c560b-9165-4ba8-8e6c-32153e808939) 但是运行的日志还是将权重加载到第1张卡 ![Image](https://github.com/user-attachments/assets/6d867662-b978-4864-b48a-697e888eb321)

bsakaguchi commented

2026-10-29 14:41:22 +00:00

Author

Owner

@cfltdf commented on GitHub (Mar 5, 2025):

CUDA_VISIBLE_DEVICES应该是可以的，命令为export CUDA_VISIBLE_DEVICES={id}，如果还有问题请提供完整的上下文和运行指令。

运行命令就是

但是运行的日志还是将权重加载到第1张卡

这种情况是正常的，要用nvidia-smi查看实际上载入到哪张卡

@cfltdf commented on GitHub (Mar 5, 2025): > > CUDA_VISIBLE_DEVICES应该是可以的，命令为`export CUDA_VISIBLE_DEVICES={id}`，如果还有问题请提供完整的上下文和运行指令。 > > 运行命令就是 > > ![Image](https://github.com/user-attachments/assets/2e1c560b-9165-4ba8-8e6c-32153e808939) > > 但是运行的日志还是将权重加载到第1张卡 > > ![Image](https://github.com/user-attachments/assets/6d867662-b978-4864-b48a-697e888eb321) 这种情况是正常的，要用nvidia-smi查看实际上载入到哪张卡