kvcache-ai/ktransformers

Fork 0

mirror of https://github.com/kvcache-ai/ktransformers.git synced 2026-11-05 01:07:28 +00:00

[GH-ISSUE #477] EPYC 9575f 加 4090 48g 加576g ram跑deepseek R1 671b Q4能到什么速度呢 #336

New issue

Closed

opened 2026-10-29 14:38:02 +00:00 by bsakaguchi · 10 comments

bsakaguchi commented

2026-10-29 14:38:02 +00:00

Owner

Originally created by @Alexchan114 on GitHub (Feb 18, 2025).
Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/477

EPYC 9575f 加 4090 48g 加576g ram跑deepseek R1 671b Q4能到什么速度呢

Originally created by @Alexchan114 on GitHub (Feb 18, 2025). Original GitHub issue: https://github.com/kvcache-ai/ktransformers/issues/477 EPYC 9575f 加 4090 48g 加576g ram跑deepseek R1 671b Q4能到什么速度呢

bsakaguchi

2026-10-29 14:38:02 +00:00

closed this issue
added the
stale
label

bsakaguchi commented

2026-10-29 14:38:02 +00:00

Author

Owner

@Pb-207 commented on GitHub (Feb 18, 2025):

9654+4090，q4，8k上下文，最高14tps。

@Pb-207 commented on GitHub (Feb 18, 2025): 9654+4090，q4，8k上下文，最高14tps。

bsakaguchi commented

2026-10-29 14:38:03 +00:00

Author

Owner

@DongZhaoXiong commented on GitHub (Feb 19, 2025):

EPYC 9575f 加 4090 48g 加576g ram跑deepseek R1 671b Q4能到什么速度呢

AMD 可以跑起来吗？

@DongZhaoXiong commented on GitHub (Feb 19, 2025): > EPYC 9575f 加 4090 48g 加576g ram跑deepseek R1 671b Q4能到什么速度呢 AMD 可以跑起来吗？

bsakaguchi commented

2026-10-29 14:38:03 +00:00

Author

Owner

@Alexchan114 commented on GitHub (Feb 19, 2025):

EPYC 9575f 加 4090 48g 加576g ram跑deepseek R1 671b Q4能到什么速度呢

AMD 可以跑起来吗？

应该可以的，b站有单AMD跑671b的，上边的兄弟也是amd的u，不过A卡不知道行不行

@Alexchan114 commented on GitHub (Feb 19, 2025): > > EPYC 9575f 加 4090 48g 加576g ram跑deepseek R1 671b Q4能到什么速度呢 > > AMD 可以跑起来吗？应该可以的，b站有单AMD跑671b的，上边的兄弟也是amd的u，不过A卡不知道行不行

bsakaguchi commented

2026-10-29 14:38:03 +00:00

Author

Owner

@Alexchan114 commented on GitHub (Feb 19, 2025):

9654+4090，q4，8k上下文，最高14tps。

那很好了

@Alexchan114 commented on GitHub (Feb 19, 2025): > 9654+4090，q4，8k上下文，最高14tps。那很好了

bsakaguchi commented

2026-10-29 14:38:03 +00:00

Author

Owner

@wuzhe1234 commented on GitHub (Feb 19, 2025):

9654+4090，q4，8k上下文，最高14tps。

这么牛逼？

@wuzhe1234 commented on GitHub (Feb 19, 2025): > 9654+4090，q4，8k上下文，最高14tps。这么牛逼？

bsakaguchi commented

2026-10-29 14:38:03 +00:00

Author

Owner

@ipc-robot commented on GitHub (Feb 19, 2025):

瓶颈是在内存带宽上吗？如果使用双路EPYC能不能更快。

@ipc-robot commented on GitHub (Feb 19, 2025): 瓶颈是在内存带宽上吗？如果使用双路EPYC能不能更快。

bsakaguchi commented

2026-10-29 14:38:03 +00:00

Author

Owner

@Alexchan114 commented on GitHub (Feb 19, 2025):

瓶颈是在内存带宽上吗？如果使用双路EPYC能不能更快。

包和带宽挂钩的，我觉得如果混合推理kt，是不是还和主板有关系？

@Alexchan114 commented on GitHub (Feb 19, 2025): > 瓶颈是在内存带宽上吗？如果使用双路EPYC能不能更快。包和带宽挂钩的，我觉得如果混合推理kt，是不是还和主板有关系？

bsakaguchi commented

2026-10-29 14:38:03 +00:00

Author

Owner

@imlida commented on GitHub (Feb 21, 2025):

9654+4090，q4，8k上下文，最高14tps。

兄弟这是你跑出来的结果吗？

@imlida commented on GitHub (Feb 21, 2025): > 9654+4090，q4，8k上下文，最高14tps。兄弟这是你跑出来的结果吗？

bsakaguchi commented

2026-10-29 14:38:04 +00:00

Author

Owner

@113514089 commented on GitHub (Feb 22, 2025):

为啥可以amd的cpu了，变化真快啊。

@113514089 commented on GitHub (Feb 22, 2025): 为啥可以amd的cpu了，变化真快啊。

bsakaguchi commented

2026-10-29 14:38:04 +00:00

Author

Owner

@ErvinXie commented on GitHub (Dec 11, 2025):

This issue has been automatically closed due to inactivity for 60 days.

If you believe this issue is still relevant, please feel free to reopen it with additional information or context.

Thank you for your contribution to KTransformers!

此 issue 因超过 60 天无活动而被自动关闭。

如果您认为此问题仍然存在，请随时重新打开并提供更多信息或上下文。

感谢您对 KTransformers 的贡献！

@ErvinXie commented on GitHub (Dec 11, 2025): This issue has been automatically closed due to inactivity for 60 days. If you believe this issue is still relevant, please feel free to reopen it with additional information or context. Thank you for your contribution to KTransformers! --- 此 issue 因超过 60 天无活动而被自动关闭。如果您认为此问题仍然存在，请随时重新打开并提供更多信息或上下文。感谢您对 KTransformers 的贡献！