求教 V 友一个关于大量数据导入及查询的问题

[monway]

有个 txt 大约 5G 左右，差不多有 1 亿多条数据，数据的格式为

2312313 123123123 1231231 qqqqqqq iiiii 1111111

请问大神们使用什么技术能实现快速导入及查询呢，需要模糊查询。。。（个人 PC 机处理（ mac pro ）） 集群什么的搞不起。。。。

[linuxchild]

分割了然后导入数据库？

或者单机 spark ？

[stiekel]

用 elasticsearch 吧，快速上手，查询也快。

[stiekel]

导入有 logstash。

[gouchaoer]

5 个 g 而且才一亿条数据，单机 mysql 随便搞

[gouchaoer]

模糊查询扫表也能扫完吧

[zhx1991]

es 应该可以

[likuku]

mac pro 有 16G 内存呢，5G 全放内存了事。

[monway]

@stiekel 谢谢，我试试

[monway]

@likuku 以后还有数据呢

[monway]

@gouchaoer 导入进数据库太慢

[monway]

@zhx1991 试试，谢谢

[annielong]

仅仅导入应该快，我现在遇到一个每一条记录要先查询 3 个不同表，如果不存在还要保存 3 次，速度根本提不上去

[2ME]

txt 分割 分割的区块拼接 sql 直接批量插进去 速度挺快的 确实是单机 mysql 随便搞

[gouchaoer]

@monway 你直接插入才 5 个 G 的数据很快的啊，用 batch insert 啊

[idcspy]

请问有不用数据库的方法没，查询速度慢点都行，导入整理太繁琐了，有个火眼金睛大数据，不过限定了特定行业才能试用。