Linux 如何处理超大体积的文本文件？

[Ryans]

例如，以 GB 为单位的文本文件，内容为纪录条目
1）对文件里面的条目去重，仅保留不重复的内容
2）切割文件，例如只保留最后 1/3 或 最后 1/2 体积的内容

使用uniq sort 等系统自带命令

[msg7086]

切割可以 head / tail。
去重需要 sort + uniq 要看内存有多大了吧。

[tanywei]

python yield