大文本按行去重（2G 左右文件）有什么好的解决方案吗？

[sl19981007]

速度可以稍慢一点，但也不能太慢（一两个小时跑不完那种 不使用 Spark 之类的计算引擎 麻烦大佬们给小弟个解决方案

[janxin]

这数据量直接 load 到内存里怎么玩都行

[NCE]

这应该是个面试题

[winglight2016]

@NCE 的确，我在金山面试 android 时有被问过类似问题

[nowgoo]

linux 环境 sort/awk，windows 环境 editplus/emeditor

[rainfd]

sort | unique

[m30102]

LinekdHashSet 行不？

[Mohanson]

任意"去重"或"排序"的面试题答"字典树"绝对得分的.

[fewok]

@loliordie o(n)复杂度 怕是搞不定吧

[loliordie]

@fewok 为何搞不定 不就是 n 次查哈希表的操作么?

[mogami18]

我還以為是 2T

[oneoyn]

2G 我的 cpu 可以秒开

[fewok]

@loliordie 建哈希表 或者查哈希表 就不算复杂度嘛？

[newmlp]

2g 而已，全部读到内存就完事了

[vincent7245]

所以你为什么不用 spark 呢 /狗头

[loliordie]

@fewok 你可能需要理解下 O(n)复杂度的意义, 大 O 计算法考察的是时间规模跟输入规模的关系, 哈希表复杂度为 O(1), 不会影响时间复杂度, 除非你使用了 listnode 这样的结构, 每次查询元素时都会迭代, 随着输入规模的增加查询时间也会增加这样才会导致复杂度从 O(n)变为 O(n^2)

[hxy100]

Linux 直接上 sort 或者 uniq 命令即可，Windows 下的话直接 Emeditor 打开，点一下去重按钮就完事。