上千万 xml 文件怎么储存比较好？

[yangyaofei]

如题，我这儿有很多需要处理的 xml 文件，如果只是储存当然放在哪里就好了。但是我们以后要处理里面的数据，全是小文件会不会影响处理速度啊，放到数据库里面好不好呢？

[ooonme]

小文件容易 oom …可以参考 大数据中的 consalidate

[billlee]

转换成 JSON 存 mongodb
嗯，这样就把我不熟悉的问题转化成一个已经解决的问题

[yangyaofei]

@ooonme oom google 之后是 out of memory ..........虽说是小文件,一共也有上百个 G 的说...

@billlee 构架上已经被用 mysql 了.......就算换构架也是几年之后的事情了.......

[yangqi]

如果只是偶尔进行批量处理的话，就放文件系统就好了， Mysql 不适合直接存文件。

[billlee]

@yangyaofei 那就只能选适合一点的文件系统或目录结构了，像 ext4 的 dentry 是不能 scale 的，那就必须预估好数量，建多级子目录来手工构建查找树
或者用 key-value 数据库？把整个 xml 当成 value 来存？

[ipconfiger]

有专门的文件系统的吧,记得是 Mogilefs

[fractal314]

我认为小文件还是存到数据库比较方便一些。

1000 万个文件 100g 大小，平均每个文件 10kB 。
可以建 3000 张表，每张表存 3000 条数据。
这样每张表大概 30m 大小， mysql 读取的速度会很快，数据备份转移的速度也会很方便。

[ooonme]

我的意思是参考 consalidate 的思路，小文件进行合并

[yangyaofei]

@yangqi 不是，是准备处理里面的信息

[yangyaofei]

@billlee 哦，我还是怕的是小文件的读取的问题。文件目录路径已经存在数据库里面了。
@ipconfiger 好，我去看看

@fractal314 这个可以考虑， 谢谢。关键还是要一次批量处理其中的一大部分。而且可能处理很多次

[yangyaofei]

@ooonme 哦哦，去看看

[msg7086]

reiser4 专业处理小文件

[yangqi]

@yangyaofei 如果就是一次性处理或者提取的话用时间长一点没什么问题吧