deepseek-ai/3FS
1
0
Fork 0
mirror of https://github.com/deepseek-ai/3FS.git synced 2026-11-05 00:47:47 +00:00
Code Issues 166 Projects Packages Wiki Activity

[GH-ISSUE #302] FUSE客户端有未知的阻塞 #184

New issue
Open
opened 2026-10-26 09:46:45 +00:00 by bsakaguchi · 3 comments
bsakaguchi commented 2026-10-26 09:46:45 +00:00
Owner
Copy link

Originally created by @wudianer on GitHub (Jun 20, 2025).
Original GitHub issue: https://github.com/deepseek-ai/3FS/issues/302

环境：200Gb RDMA网络
客户端：FUSE版本3.16.1 ，用的fio压测客户端，引擎是usrbio
操作：有两个客户端节点，分别用fio压测，fuse客户端的配置保持一致
现象：一个客户端的带宽只能跑到15GB，而另一个客户端能跑到25GB。25GB的节点只要不重启fuse客户端怎么测都是极好的，但是如果重启，也有很大概率变成像第一个客户端那样15GB的带宽。比较奇怪，也就是说只要客户端挂载之后，一开始能跑到25GB，以后测也会25GB的， 如果一开始只能跑15GB，那以后也就只能跑15GB。并且和协程与线程池线程的数量无关
节点1：
fio图：
Image
火焰图：
Image

节点2：
fio图：
Image
火焰图：
Image

大家遇到过这种现象吗，或者能给一些思路吗，因为用到wait的地方太多了

Originally created by @wudianer on GitHub (Jun 20, 2025). Original GitHub issue: https://github.com/deepseek-ai/3FS/issues/302 环境：200Gb RDMA网络 客户端：FUSE版本3.16.1 ，用的fio压测客户端，引擎是usrbio 操作：有两个客户端节点，分别用fio压测，fuse客户端的配置保持一致 现象：一个客户端的带宽只能跑到15GB，而另一个客户端能跑到25GB。25GB的节点只要不重启fuse客户端怎么测都是极好的，但是如果重启，也有很大概率变成像第一个客户端那样15GB的带宽。比较奇怪，也就是说只要客户端挂载之后，一开始能跑到25GB，以后测也会25GB的， 如果一开始只能跑15GB，那以后也就只能跑15GB。并且和协程与线程池线程的数量无关 节点1： fio图： ![Image](https://github.com/user-attachments/assets/b69b737e-39f2-48b6-a3d7-fcbbcabb5696) 火焰图： ![Image](https://github.com/user-attachments/assets/4eaba3ad-0be5-4c38-b5b3-048e19990034) 节点2： fio图： ![Image](https://github.com/user-attachments/assets/d78f5711-358f-448c-befb-5212f46d029b) 火焰图： ![Image](https://github.com/user-attachments/assets/92ddfe33-8960-428b-8197-61b894b2acd3) 大家遇到过这种现象吗，或者能给一些思路吗，因为用到wait的地方太多了
bsakaguchi commented 2026-10-26 09:46:47 +00:00
Author
Owner
Copy link

@kangyifei commented on GitHub (Jul 1, 2025):

我们测试出现过类似的现象，最后定位在QP数量不足导致的，调高QP数量就好了，具体的配置是max_connections，可以尝试一下

<!-- gh-comment-id:3021438056 --> @kangyifei commented on GitHub (Jul 1, 2025): 我们测试出现过类似的现象，最后定位在QP数量不足导致的，调高QP数量就好了，具体的配置是max_connections，可以尝试一下
bsakaguchi commented 2026-10-26 09:46:47 +00:00
Author
Owner
Copy link

@wudianer commented on GitHub (Jul 1, 2025):

我们测试出现过类似的现象，最后定位在QP数量不足导致的，调高QP数量就好了，具体的配置是max_connections，可以尝试一下

感谢回复！ fuse客户端和storage server需要同时修改吧，我简单调整了fuse侧，从1改成10，看着暂时没什么效果，还是16GB/s左右

<!-- gh-comment-id:3021493876 --> @wudianer commented on GitHub (Jul 1, 2025): > 我们测试出现过类似的现象，最后定位在QP数量不足导致的，调高QP数量就好了，具体的配置是max_connections，可以尝试一下 感谢回复！ fuse客户端和storage server需要同时修改吧，我简单调整了fuse侧，从1改成10，看着暂时没什么效果，还是16GB/s左右
bsakaguchi commented 2026-10-26 09:46:48 +00:00
Author
Owner
Copy link

@kangyifei commented on GitHub (Jul 1, 2025):

那可能不是一个问题TvT，我们把各组件里面的配置全部都调整到了16

<!-- gh-comment-id:3021510257 --> @kangyifei commented on GitHub (Jul 1, 2025): 那可能不是一个问题TvT，我们把各组件里面的配置全部都调整到了16
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
main
SF-Zhou-patch-1
No results found.
Labels
Clear labels   
pull-request
Mirrored from GitHub Pull Request

No labels
pull-request
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
deepseek-ai/3FS#184
No description provided.