单个大文件内容检索方式咨询

[jonzlx]

有个日志文件，每行是用户的行为日志，文件有 10 个多 G ，想要把有关键字 XXX 的行给找出来，不知道各位大神有没有好方法。

之前用了 windows find 和 linux grep 感觉效率不是很高。

[phrack]

定义你要的效率
10g 在 grep 面前要不了太久吧

[yttyhf2006]

效率不高是磁盘不够快？

[loading]

如果不是磁盘问题，多线程吧。

[swulling]

10G grep 很快，注意如果只是找关键字的话用 -F

[sensui7]

流程: 1. 读数据, 2. 搜索, 3.写输出
主要慢在 读和写上. 一种方法是将文件分成 10 份, 同时读, 但对机械硬盘没什么作用.
但是你可以试试把这 10 份文件放在 10 块硬盘同时读. (滑稽

还有一种即时输出结果, 这样在等待的时候起码能缓解下情绪.

[FrankHB]

虽然可能不是主要问题，不过 grep 的实现性能经常不够用。可以试一下 ag(the silver searcher)和 ripgrep 之类，用法和 grep 大同小异。
不过如果模式简单（只是找关键字 XXX ），可能自己直接实现个 native 程序（在各种意义上）还更快点……

[jonzlx]

@All

感谢各位~