几百万张缩略图硬盘存储方案?

[hardwork]

怎么存储才能较高效读写,每张图片也就几 k 到几十 k,之前存在一个文件夹下,inode 太大,rm -rf 都要删很久很久,就像卡死了一样.

c++的小服务,有什么存储库可用吗,或者如何分散合并到硬盘?

[loading]

minio
可以做分布式了，都说是开源的 aws s3

[luozic]

小图 不上 DB 那种存文件的，读取不是想死？

[opengps]

@dog 只是个概念，单个文件夹之下的数量不宜过多

[wbrobot]

豆瓣是自己造轮子解决的：beansdb

[zzl22100048]

两个亿的图片怎么比较好？频繁读，少量写

[FrankHB]

@Livid 单机呢？
然后不管多出来的网络成本，确定把问题转换为风险管控和砍价上兜得住么。
二次开发成本呢？
（怕是要和抠脚皮大汉打一架：Who does that server really serve?）
我现在要在本机索引万以上的大小 1M 左右的截图，要求能任意两图之间快速预览加注标签近似比较自动去重，持久存储效率平均不低于 FLIF 的 30%；暂且先不管价钱，有什么 IaaS 方案能救吗？

[tenwx]

@FrankHB zfs 可以做到自动去重，但可能有点耗内存

[FrankHB]

@tenwx 不是基于直接二进制比较或者 hash 的去重，跟内容特征相关，基本上肯定是要二次开发的。
不过这个是没支持手动标注分类的优先级高……考虑到我的输入数据中大部分特征相似分类也不太复杂，但是各种奇形怪状，不容易自动提取，短时间内弃疗了，实在不行等标记完一并手动凑数吧。
个别情况有损压缩和无损图源会在同一个地方倒是适合自动，不过数量不多也算了……

[yanzixuan]

@keepeye hbase 吧。还挺好用的。

[yanzixuan]

@winglight2016 riak 吧。分布式的。