自建千万级小文件 S3 存储求建议?磁盘,文件系统,软件,组织方式 etc

2023-08-31 09:25:50 +08:00
 phpfpm

现状

目前文件数量~10M ,年新增 3M ,总容量~5TiB (年新增 1.5TiB ),单文件平均尺寸 500KiB ( stdev=900KiB ,有小的几十 KiB 的,也有几 MiB 的大文件)

目前文件存放于 qnap 的 QuObject 服务下面(可以认为是一个兼容的 S3 的商业实现)

文件存储结构是 md5 前两位+md5+扩展名 例如 e10adc3949ba59abbe56e057f20f883e.jpg 会被存储为: /e1/e10adc3949ba59abbe56e057f20f883e.jpg

算下来有 256 个文件夹,每个文件夹~40K 个文件

问题

之前选择威联通去存放,是因为这台威联通的混合式 raid ( hdd+ssd )我以为可以提高性能和存取效率,虽然用下来一年多还是挺稳定的,但是本身这台 TS-963N 还是挺弱鸡的,想迁移出去。

目前已有的设备和资源:

  1. windows nas, 有一个 80T raid6 SAS HDD 的磁盘
  2. 分区格式还没确定,exfat/ntfs 可选
  3. 因为这台 NAS 上还有其他服务,暂时不方便迁移到 linux
  4. S3 软件
  5. 选的是 minio
  6. 老版本的 minio 是支持 legacy fs ,就是文件存储的物理路径和实际路径是一致的
  7. 文件目录
  8. 目前是 1 级 hash ,可以配合业务修改为 2 级 hash
  9. /e1/e10adc3949ba59abbe56e057f20f883e.jpg =>
  10. /e1/0a/e10adc3949ba59abbe56e057f20f883e.jpg

想问下基于以上的信息还有啥好的建议么?

1123 次点击
所在节点    问与答
1 条回复
caryqy
2023-08-31 09:48:13 +08:00
看看 seaweedfs

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/969652

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX