数亿条key-value对，每个value大概是20k～50k的json字符串，求分布式存储方案！

[webflier]

不考虑mongodb，mongodb的disk footprint太大，太占硬盘空间。
hbase是不是一个好方案？没用过，稍微浏览了下文档，感觉配置起来有点复杂。
redis做集群，合适吗？
或者整一个分布式文件系统，直接存成文件？
大神们，求破！

[Livid]

Riak

[Cadina]

这要看你查询的需求了啊

[Livid]

HBase 的问题是，这些数据你打算用什么编程语言来存取？

HBase 的 first-class 编程语言是 Java。

[plprapper]

把value做序列化处理 然后再看看大小呢？

[webflier]

@Livid 工作语言c#, mono平台，Riak感觉水很深啊，刚出来的东西，你对Riak有很好的体验不？

@Cadina 查询的话，基本就是根据key值random access

[Livid]

@webflier Riak 出来的时间不短了，是一个靠谱的分布式 KV 数据库。你可能需要花一些时间研究它的部署，但是一旦熟悉了，这个东西还是很可靠的。

[webflier]

@plprapper 如果size变小的话，5～10k，有什么好建议？

[swulling]

你这个才T级别的数据，不必太在乎硬盘空间吧。

[austin]

应该视你数据的读取频率、改写频率、数据一致性要等需求不同，而最终方案不同。
如果读取频率很小，自己搞一个hash算法，存文件或直接存mysql都可以。
如果读取的很频繁，而且是乱序的，放redis里面是一个好方案。也是自己hash分到多个redis实例即可。

[davepkxxx]

memcache或着membase

[llbgurs]

couchbase

[oldgun]

你这个其实Berkeley DB就可了，可能插入性能需要看看。

[Los]

插个内容，Hbase 支持 REST 方式进行操作
http://wiki.apache.org/hadoop/Hbase/Stargate
当然，有更好的另一种操作方式是通过 Thrift 连接 Hbase，能够支持常见的开发语言，包括c#,java,python,php,ruby 等等
http://wiki.apache.org/hadoop/Hbase/ThriftApi

[Frannk]

Mysql 分库分表 存blob

[Ricepig]

column based database就好了，列数据压缩，效率比较高

[aisk]

LevelDB也可以。或者楼主可以按文件名做hash到不同机器，然后机器里再按hash分布到多层的目录里。

[webflier]

@aisk
@Ricepig
@Frannk
@Los
@oldgun
@llbgurs
@davepkxxx
@austin
@swulling
@Livid
@plprapper
@Cadina
谢谢大家，打算用Riak + leveldb backend试试！

[wuxqing]

Twemproxy + redis 应该也可以的
Twemproxy：https://github.com/twitter/twemproxy

[clowwindy]

@Livid HBase 有 HTTP 和 thrift 接口，我们之前用过 tornado + REST HBase
不过 HBase 的运维成本非常高。

[Frannk]

@webflier 记得回来谈谈效果。