几百万张缩略图硬盘存储方案?

[hardwork]

怎么存储才能较高效读写,每张图片也就几 k 到几十 k,之前存在一个文件夹下,inode 太大,rm -rf 都要删很久很久,就像卡死了一样.

c++的小服务,有什么存储库可用吗,或者如何分散合并到硬盘?

[keepeye]

上 hdfs 之类的文件系统？小文件合并存储，当然读取的话要走接口了

[also24]

噗嗤，之前存过几十万张，每张 0.5~1MB 左右的，即使丢进 SSD，读写的时候还是想死，关注一下大家有什么好方案

[hardwork]

@keepeye 只是个小服务,而且这个量级好像也没必要使用第三方云服务,linux 自带文件系统搞定搞定最好

[aquariumm]

最方便的就是生成然后上传到 oss

[Jirajine]

用私有格式直接合并存储合并读写

[andyzhshg]

leveldb 之类的 kv 应该可以吧？

[keepeye]

要不 直接丢到 mongodb 里？

[Livid]

早点习惯用云解决这类问题，就可以早点从这类问题背后的性能、备份、CDN 等等更细节的问题里解脱出来。

[goreliu]

这个还要看具体是怎么读写的。比如读、新增、删除文件都是什么频率的。

如果图片的大小相差不大，可以这样简单实现。把图片按大小分成几类，比如小于 10k、10k - 30k、30k、50k 等等。然后为每类图片分配一个大文件和索引文件。像 10k 文件按 10k 的块来使用，在索引文件记录文件名和对应文件偏移。

这样虽然会浪费一些空间。但写入读取（因为省去打开关闭过程，比单文件读要快）、删除（只需要写索引文件）图片都非常快。

如果不想费事，可以找个 kv 数据库，但性能会差些。

[swulling]

本地的话建议用 LevelDB 或者 rocksdb 这种本地 kv 存储

[Klingon]

图片量不小了。可以用阿里云腾讯云，不放心的话可以用 minio 搭建个私有存储。

[dsnake1984]

腾讯 cos 便宜好用~ 不烦神。

[cy97cool]

seaweedfs

[snappyone]

一定自己存的话肯定不能丢一个文件夹，文件名 hash 之后取 hash 前缀分文件夹存试试

[xuddk727]

了解一下 mr4c, google earth engine?

[aec4d]

直接用 ext4 存了千万级缩略图的表示，没什么性能问题，跑的很欢，不需要特别做优化
原图是存在了 S3 上，本地缩略图再不济可以获得原图再生成一次缩略图

https://www.kernel.org/doc/html/latest/filesystems/ext4/index.html

[opengps]

必须用单机环境的话，你得知道目录下最多 500 张

[justou]

HDF5 可以了解一下
https://www.hdfgroup.org/

[dog]

@opengps 为啥最多 500 张？

[winglight2016]

百万级的文件，单机不好搞了吧，不想上专门的文件系统，也可以导入 RMDB 里面