请教下 minio 集群,上传 100G 左右的小文件后,感觉速度有些慢

2023-12-12 23:41:33 +08:00
 ksc010

比如 mc ls xxxx/full/201202/ -r 可能会卡住需要半分钟的时间

然后执行
mc admin trace -a sf

有大量日志刷新 内容如下:

2023-12-12T23:34:30.694 [SCANNER] scanner.ScanFolder minio:9000 /data4 xxxx/full/full/20220911/8991b39bc48df9814bf0bca3c515794c3bff6e52.jpg 3.737023ms 2023-12-12T23:34:30.700 [OS] os.OpenFileR minio:9000 /data4/xxxx/full/full/20220911/a60dde51fa81cb1fdc934d0458630d20cdfbca38.jpg 66.285µs 2023-12-12T23:34:30.700 [OS] os.OpenFileR minio:9000 /data4/xxxx/full/full/20220911/a60dde51fa81cb1fdc934d0458630d20cdfbca38.jpg/xl.meta 26.689µs 2023-12-12T23:34:30.700 [SCANNER] scanner.ScanObject minio:9000 /data4 xxxx/full/full/20220911/a60dde51fa81cb1fdc934d0458630d20cdfbca38.jpg/xl.meta 7.482286ms

感觉是 minio 在后台异步处理一些任务,若是这样的话,怎么能看到这些任务完成情况

1162 次点击
所在节点    问与答
3 条回复
rwecho
2023-12-13 08:11:30 +08:00
我们用了好几年的 minio ,并且数据量都在几十 t ,会不会版本问题?
Just4L
2023-12-13 09:25:56 +08:00
minio 剩余空间大么,网络抖动大么
ksc010
2023-12-13 11:26:54 +08:00
@Just4L 局域网,一共 4 个 5T 的硬盘 至少得有 10T 得可用空间吧

另外我发现,Bucket 显示得 对象数量 和 占用空间数量 在不断增加,大小趋近于我真实上传的数据量

刚才又看了下 还在”跑“ 跑了一夜了还跑完 现在空间占用显示 100G 了 ,昨天晚上是 40G 多

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/999852

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX