请教高效分割 txt 大文件（100GB）方案（ Python ， Java ， shell）

[Nick2VIPUser]

一个 100G 的 txt 文件，按指定行内容分割为若干个文件，如何处理？
例如：这个文件有几亿行，其中会有大概 20 行的内容是”my content\t“
想以这个内容将文件分割开，如何在内存 16GB 的电脑上实现呢？

[rayray314]

emeditor

[cheng6563]

就算是 HDD 同盘复制缓冲区给个 50M 就行了，没必要上 GB

[lululau]

zsh:

offsets=($(echo 1; grep -b 'my content' big.log | cut -d: -f1; stat -c%s big.log))
for ((i=1; i < $#offsets; i++)) { echo dd if=big.log of=small.$i.log bs=1 count=$[$offsets[i+1]-$offsets[i]] skip=$[$offsets[i]-1] }

[lululau]

zsh:

offsets=($(echo 1; grep -b 'my content' big.log | cut -d: -f1; stat -c%s big.log))
for ((i=1; i < $#offsets; i++)) { dd if=big.log of=small.$i.log bs=1 count=$[$offsets[i+1]-$offsets[i]] skip=$[$offsets[i]-1] }

[lniwn]

mmap 内存映射，一个映射读的文件，一个映射写的文件，64mb 一个块，一个块 commit 一次，hdd 没有任何压力。

[qinrui]

awk 一行一行的读

[scriptB0y]

直接用 fileinput，无论按照什么逻辑分割都能三五行搞定

https://docs.python.org/3.8/library/fileinput.html

[rrfeng]

sed
awk
都能轻易完成…

[popbones]

http://man7.org/linux/man-pages/man1/split.1.html

[msg7086]

读进 buffer 然后扫描分割就行了吧。
一次读比如说 128M，扫描完，再读下一块，如果能多线程跑更好，IO 扔给子线程。

[marcomarco]

txtkiller 了解一下

[sxfscool]

bufio

[dantegg]

sed +1

[BlackBerry999]

按行读，边读边写。

[matepi]

边读边写不就完了么

真正难的是让你快速定位到随机第 n 行的内容

[zz554952942]

go
开一个生产者协程 负责读取文本 读到换行符则塞到通道上
然后开一定量的消费者协程负责取然后写入

[llussy]

split -b 10G log.txt newfile

[feelinglucky]

@littleylv 以前很多日志都还存文件系统的时候，一天就要好几百 G 了…🤣

[augustheart]

逐字节线性读入就行。你只需要长度为“my content\t”的缓存就行

[JimiJimi]

流处理，一行一行读