请教高效分割 txt 大文件（100GB）方案（ Python ， Java ， shell）

[Nick2VIPUser]

一个 100G 的 txt 文件，按指定行内容分割为若干个文件，如何处理？
例如：这个文件有几亿行，其中会有大概 20 行的内容是”my content\t“
想以这个内容将文件分割开，如何在内存 16GB 的电脑上实现呢？

[xupefei]

边读边写，线性时间，内存占用超低。

[littleylv]

歪楼，为啥会有这样的文件啊，可怕

[alan0liang]

用 split ？

[xupefei]

如果是 ssd 的话，可以把文件分块后多线程扫描来拿到分隔符位置。对于每个位置，起一个线程从那个位置开始边读边写，直到遇到下一个分隔符。

[vuuv]

根据内容分割需要用 csplit 。

[alan0liang]

哦看错了 一楼流处理正解

[luckyrayyy]

你的难点在哪？如果说只是不能一次性读到内存，那就一边读一边处理呗。是否还有其他困难？

[vuuv]

毕竟只会生成 20 多个文件，都是顺序大块读写。
如果可能，写的目的地不要放在同一块磁盘上。
复制到 SSD 后能加快处理时的读取速度。但是你复制也要时间。自行决策吧。

提前创建个小文件测试下命令行参数效果。

[Nick2VIPUser]

@xupefei 是的~我的想法是读 2GB，然后逐行写入，依次循环。我打算先计算预计需要的时间...如果是读一行写一行，算了一下时间不能承受。

[Nick2VIPUser]

@littleylv 因为自己的某些 zhizhang 操作...哭了

[Nick2VIPUser]

@vuuv 我回去试试

[yxt]

emeditor?

[Nick2VIPUser]

@luckyrayyy 目前准备是按 2GB 分批读，然后逐行判断和写入，目前还在找 python 相关的 api 进行实现

[Nick2VIPUser]

@vuuv 是了~我打算放在 ssd 上跑一下

[pcbl]

反正才 100g 如果只是一次性处理的话，一行一行的读取都行，然后预估下内存最大可以放多少行在超出之前写入到文件

[yxt]

emeditor 最大支持大概 250g 先搜索，bookmark all，然后 split done

[aptupdate]

在 SSD 里面把线程拉满然后边读边写，你是想分割成 20 个文件吗？感觉分割完 20 个 5GB 大小的文件后续处理也够呛。好奇 100GB 的 txt 文件是什么东西……

[also24]

提醒下，边读边写方案，如果你是 HDD，最好分开在两个硬盘进行，或者读取一长段数据（ x GB ）后再一次性写入，避免大量的随机读写降低 IO 性能。

如果是 SSD 的话可以不用管这个。

[caola]

逐行读，判后再写入新文件……

[line]

cat | awk