关于 csv 大文件， Python 处理的问题

[goodboysisme]

之前有个关于一个近 10G 的 csv 文件关键词查询的的需求。 文件宽 80 长几千万吧，有各类数据。 使用了 pandas 分块处理，最后只弄成搜索一个关键词需要十几分钟。 大伙有什么只用 python 能更高效的建议吗？

[leimao]

试试 GPU 加速的 rapids

[abc612008]

转 sqlite 再查?

[leimao]

另外 CSV 格式应该并不是高效的用于检索的格式，时间复杂度为 O(N)

[swulling]

转 sqlite 是很好的主意。

[dji38838c]

把数据导入 BigQuery
用 Python 调 SQL 查询
10G 的表，三十秒够了。

[goodboysisme]

@dji38838c 搜索了下 BigQuery ，这是云端的吧。这个文档只能在本地断网机子上的，所以行不通

[r6cb]

spark

[hefish]

我也觉着转 sqlite 的好，sqlite 不是云端吧？

[dlsflh]

有何加速 pandas 的库叫 modin 你看看有没有帮助。

[wxf666]

转 sqlite 后，用 sqlite 的 FTS5 全文搜索，能满足需求吗？

（ Trigram 分词器支持 3 字及以上的 LIKE '%关键词%' 搜索。
或者，有个号称参考微信 sqlite 优化原理写的 simple 开源分词器，也支持中文分词？）

[FYFX]

你这主要是查询吧，找个数据库吧

[goodboysisme]

@abc612008
@hefish
@wxf666
@swulling 谢谢了，过几天周末再试试这个方案

[freefcw]

还是没搞懂楼主的需求到底是什么,输入是什么,什么一个处理逻辑,输出是什么....

[dayeye2006199]

弄个本地的数据库，把数据搞里面。
根据查阅条件研究一下，应该对什么字段做索引比较好。

这么大的 CSV 文件，python 光读到内存里要花的时间就很客观吧。

[HankLu]

社工？

[helloworld000]

lz 除了 python ，还知道有个东西叫做数据库吗？

[suguo210]

https://vaex.io/

[wtks1]

直接塞进 sqlite 里，然后用 sql 语句查询

[ETiV]

不如说说你的具体需求，毕竟直接 load 一个 10GB 的文件进各种本地的、远程的数据库都需要很久的时间。

比如，你提到的「关键词查询」：如果这个查询只跑个 1 、2 次，可以考虑下先 grep ，筛选出能够命中这些关键词的文件内容，再使用这个结果文件处理？

当然如果你这一个 10GB 的文件，需要一直反复的查询，导进数据库里还是最方便的…

[ytmsdy]

先干到数据库里面去吧。