文件储存方案，将上亿 MD5 文件存入磁盘，怎么划分目录合理？

[andybest]

例如 MD5 值：4c7a8207e67421e328dd25cf9df9671b

储存方案选项：

/4c/7a/82/07/e6/74/21/e3/28/dd/25/cf/9d/f9/67/1b
双字母一切，好处：单目录 676 个文件，但目录层级太深，是否会影响磁盘性能？并且目录过多，会大量占用磁盘node

/4c7/a82/07e/674/21e/328/dd2/5cf/9df/967/1b
三字母一切，单目录 17576 个文件，Linux目录中文件上千后列出就会影响性能了，是否过多了？

/4c/7a8/207e/67421/e328dd/25cf9df/9671b
2,3,4,5,6,7切分发，我也不知道为什么。。。

应该怎么储存比较合理呢？谢谢各位！

[virushuo]

你要处理的不是怎么分目录的问题，是你存进去之后能不能读出来的问题。之前有过讨论，你需要先选个合适的fs。 看这里 http://www.v2ex.com/t/35253

[kslr]

目录数量也受限制，上亿同时考虑增长我觉得可以用文件系统解决了

[andybest]

@virushuo 我是想知道例如 GIT 设计，每次Commit（用SHA1做的Hash）他是以什么目录形式储存的该 Commit 信息？

[andybest]

@kslr @virushuo 没有上亿。。我夸大了，500万个好了。

[zungmou]

500万个文件... 文件名直接 hash 字符串不行吗？文件系统选择一个支持大量文件快速随机访问的就好了么。

[andybest]

@zungmou 行啊，怎么把这个文件存入磁盘？

难道直接：/file/md5....
这样, /file/目录下有500万个文件？

[virushuo]

@andybest 哦。你去看.git/objects 这个和你提的问题有一点区别，还是我说的读的问题，git不会批量/随机读取大量hash，每次读只有少量文件，所以压力不大。

[9hills]

搜 ext4 small files ，前几个结果看下。否则支持不了上亿的inode

另外目录不要太多层。按照fibnacii数列切割112358...就可以 ext4单目录文件数还是很大的。

[lovesky]

https://code.google.com/p/weed-fs/
https://code.google.com/p/fastdfs/

看看这两个，应该都可以满足你的需求。