几亿条的 csv 格式数据怎么快速导入 elasticsearch？

[lovepim]

之前在 V2EX 上问了一个关于 elasticsearch 的问题，得到了大家的热情帮助，真是很感动！

最近又遇到一个问题，就是有几亿条的 csv 格式数据（分成了几十个 csv 文件，每个文件有几个字段，用逗号隔开的），想快速的把这些数据导入到 elasticsearch 。之前用的是 logstash ，但是感觉太慢了，每秒也就几百个，估计跟机器性能有关。

针对这种的问题，请问大家有没有更快的导入办法？具体怎么操作呢？

[klxq15]

用 python 写个 bulk insert

[findex]

给你看看一个好工具 github.com xros jsonpyes 你可能需要把 csv 手动转换成 json 格式，方可分块多线程导入。

[lovepim]

@findex 我试了一下，这种转换没有找到好的工具。。。不知道你有推荐的吗？

[findex]

@lovepim 这就需要你自己写了。你可以写个动态的脚本转换器，然后导入进去。根据自己的需求