[GH-ISSUE #1679] 请问在 RTX 5090 32GB 上，最多能部署哪个 Qwen 模型？ #1077

New issue

Closed

opened 2026-10-29 14:48:16 +00:00 by bsakaguchi · 0 comments

bsakaguchi commented

2026-10-29 14:48:16 +00:00

Owner

Originally created by @jiayuchou on GitHub (Dec 8, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/1679

Reminder

I have read the above rules and searched the existing issues.

Description

我想确认在我的机器上能部署的 Qwen 模型上限。

我的硬件：

GPU：RTX 5090 32GB

CPU：Intel Xeon W7-2475X（20 核 40 线程）

内存：64GB DDR5

存储：1TB SSD（M.2 可用）

请问在你们的框架中，我最多可以运行到 Qwen 的哪个模型规模（如 14B、32B、72B）？
如果使用 4-bit / 8-bit 量化或 offload，有推荐的配置吗？

谢谢！

Pull Request

No response

Originally created by @jiayuchou on GitHub (Dec 8, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/1679 ### Reminder - [x] I have read the above rules and searched the existing issues. ### Description 我想确认在我的机器上能部署的 Qwen 模型上限。我的硬件： GPU：RTX 5090 32GB CPU：Intel Xeon W7-2475X（20 核 40 线程）内存：64GB DDR5 存储：1TB SSD（M.2 可用）请问在你们的框架中，我最多可以运行到 Qwen 的哪个模型规模（如 14B、32B、72B）？如果使用 4-bit / 8-bit 量化或 offload，有推荐的配置吗？谢谢！ ### Pull Request _No response_

bsakaguchi

2026-10-29 14:48:16 +00:00