求助，关于 Ceph 与 HBase 存储图片方案的对比

[szq8014]

限制要求

最近在测试对比海量图片存储的方案，先说一下限制要求：

1. 是给定 路径和图片 存下来, 后期需要根据给定路径去提取图片。
2. 图片大小是 300~700K
3. 每日图片量大约在 2000W+，存储占用约 7T。

当前选了两个方案

1. HBase(K-V)。测试发现中后期数据量变大后, split 略频繁有时还会出错导致节点挂掉。
2. Ceph。使用 Ceph 的分布式存储提供 块存储 服务，然后将块挂载到 xfs 文件系统中，然后将文件写入文件系统即可。

测试结果

最近部署了这两套系统后对比测试，发现 HBase 的图片加载平均用时 200ms, 而 Ceph 的平均加载用时在 300~1000ms 波动较明显。

相关问题

请问有没有搞过图片存储的大神给提下意见建议，上面 Ceph 300~1000ms 的用时是否正常，或者有没有更好的方案可以用？

谢谢！

[AnyISalIn]

为什么不用 ceph 的对象存储

[szq8014]

@AnyISalIn Ceph 对象存储没了解过，请问这个对象存储适合什么场景？和 HBase 一样 k-v 一直存就可以了吗？现在正在补看这一块的文档

[AnyISalIn]

@szq8014 #2 比较适合少写多读的场景

[szq8014]

@AnyISalIn 那看起来不太满足需求，目前需求是一天 2000w+的写，每张图片得读 2 次+。。

[lyzgeorge]

same suggestion 可以尝试一下 ceph 对象存储。

如果愿意上云，来试试腾讯云 COS ？

[Mirana]

TFS 或者 SeaweedFS 这种专门为小文件优化的文件系统，要不这么多文件的元数据要爆炸了

[vmskipper]

元数据 hbase 流数据 oss 每天一亿的量

[hujianxin]

这种情况就是对象存储，存文件系统和数据库都是不对的