本科毕设做一个海量小文件存储系统，数据库选型？ paper 推荐？

[alexanderchiu]

导师大概给了一个这么一个课题： 做一个 vfs 或者 fuse 兼容的海量小文件存储系统，文件要按照目录结构组织，场景是读远大于写。 导师给的基本想法就是数据存在 hbase 中，上面套一层 fuse 或者 vfs 。 不知道大家有没有其他更好的数据库选型推荐？最好开源，可以魔改。

最近在看 facebook 的 haystack，不过那个其实有点老了。

[twl007]

@alexanderchiu 对 第一层其实存具体的节点和文件位置就行 止痒方便你在 vfs 或者 fuse 上面写的时候能生成具体的目录结构 然后 storage node 上面再去具体负责单个文件的存储 然后用 key-value 的数据库来做索引 负责把文件从具体位置捞出来

用 Hash 得话稍微注意一下文件目录的数量就行 或者你可以换个别的方式 Hash 的问题就是在于你的一些参数变了可能所有文件的位置都要重新来一遍 不过因为是毕业设计所以应该也不用去考虑这些复杂的问题 但是如果文件数目多的话你要注意具体的 Node 上面单个目录下文件的数量 具体的设计可以参考 Ceph 的 Filestore 的实现

[my3157]

tikv + fuse

[GaoGeYang]

巧了，我本科毕设也是类似的选题，不过思路不太一样。文件存储用的是 FastDFS，然后用数据库记录文件目录路径。

[chrislusf]

SeaweedFS filer store 可以支持一般的 key-value store，比如 Cassandra. 现在正好 HBase 的还没有支持。欢迎参与开发！不过工作量可能比较小。加一两个文件就可以了。

[user8341]

@heyjei
就是啊。读远大于写，明显就应该用 cache 。套一层 memcached ？

[peterlitszo]

OP 还在吗，最近本科毕业设计也有点想写偏底层的东西，请问能看看你的论文参考参考咩？