大文件定位某一行？

[kaiser1992]

现有一个很大的文件(比如 40G 的文本)，假如我随机定位某一行，怎么样实现最快（时间和空间）？
希望 V 友们想什么说什么，畅所欲言

[ashfinal]

40 G …… 这，这

[15015613]

查找内容的话，grep
输出特定行，sed

[kaiser1992]

@15015613 grep 是顺序查找太慢，sed 也需要遍历

[Fishdrowned]

要是打开没规律的文本文件，你倒是说什么算法不用遍历？判断行数难道不用先知道前面有几行？

[jfcherng]

https://lists.freebsd.org/pipermail/freebsd-current/2010-August/019310.html

grep 其實用了很多黑科技的，速度不是一般快。

[Fishdrowned]

优化方法估计只能多核并行遍历了。如果文件内容不会变化，遍历完之后可以缓存结果

[chunk]

dd

[sofs]

40G 的文本我不敢去操作

[qian19876025]

@Fishdrowned 除非大部分读进内存 不然你没法 并行

[sun1991]

先扫描一遍, 获取所有行的 pos, 保存起来.

[reus]

加索引

[Fishdrowned]

@qian19876025 当然可以并行。按文件大小设置几个断点，然后每个线程从断点处开始遍历，找到换行符就记录一下位置，并不需要多少内存。全部完成后汇总，每一行的位置都出来了

[FanWall]

@Fishdrowned 最坏的情况缓存大小是文件大小的四倍

[Fishdrowned]

缓存大不用怕，因为缓存是有组织的，内存不够就放磁盘，快速查找不难实现。

[0ZXYDDu796nVCFxq]

只查找少数几次：调用 grep，如果你实现了一个比 grep 更快的算法，那牛逼大了
经常查找：扫一遍，建个索引存下来

[lululau]

扫描一遍文件，把每一个换行符的索引记录下来，然后 dd 就可以了，不知道 dd 就 man 2 lseek

[webster]

用 grep 找过 30G 的文件 感觉真的很科技 很快

[privil]

用多核心加速 grep 试试看 http://www.vaikan.com/use-multiple-cpu-cores-with-your-linux-commands/

[gouchaoer]

ls 的回答都是什么啊，lz 需求是定位某一行
fseek 可以访问文件偏移量，但是行是以换行符确定的，你需要遍历整个文件

要以常数时间定位某一行的话自己建立一个索引就 ok 了，先遍历文件遇到换行符就记录这是第几行，以及当前 fseek 偏移量

[kaiser1992]

@gstqc 建索引需要时间，存索引需要的空间最后貌似比源文件都大了把