如何实现检查一个大 txt 文件里数据是否重复的功能

[1ven]

如何实现检查一个大 txt 文件里数据是否重复的功能

如题，文件的每一行数据结构都是相同的，字段值通过一个自定义分隔符分割。比如有如下结构数据，id|name|bizNo ，检查 id 是否重复。

最好是 java 实现的

[layxy]

使用 BufferedReader 逐行读取,如果只需要排重使用 set 就可以,如果需要重复计数排序可以使用 map

[guanzhangzhang]

@icedx #10 2K XD 是啥意思

[o562dsRcFqYl375i]

要不咋们跳出单机器的思维，spark 一下？

[o562dsRcFqYl375i]

@nutting 还是老哥想的周全

[Greenm]

经常接触过这样的需求，如果不考虑一定要原始文件中字符的顺序，我的选择是 Linux 上的 sort | uniq ，流式处理速度非常快。

[FreeEx]

直接抄这个

https://github.com/gunnarmorling/1brc

[1ven]

@FreeEx 上次我也看到过有人发过这个链接，就是找不到了，老哥知道原贴吗

[815979670]

duckDB 读入 用 SQL 查询出来？

[Subfire]

用正则匹配重复行即可:
^(.+?)$(?=.*?^\1$)

[fuis]

一行脚本可解

```
[ $(cat 1.txt | wc -l) = $(cat 1.txt | awk -F, '{print $1}' | sort -n | uniq | wc -l) ]; echo $?
```

[beyondstars]

可以用 trie tree （也叫前缀树）来实现，将文本文件打开为一个 stream, 把这个 stream pipe 到一个 trie tree 型对象里面，每一个 insert 之后返回对应节点的指针，然后检查该节点的 count 是否大于 1.

[beyondstars]

伪代码如下：

let trieTree = new TrieTree();
let lineStream = openStream("data.txt");
while lineStream is not EOF:
let line = lineStream.getLine();
let field1Value = split(line)[0];
let lastNode = trieTree.insert(field1Value);
if (lastNode.count > 1)
print("Repeated.")
return

[beyondstars]

不过 trieTree 的 insert 操作一般接受的是一个 path ，你把 string 转换成 char[] 再 insert 到 trieTree ，这样 string 也可以看作是 path 。

[wangtian2020]

如果不爆内存，我的做法是

nodejs 读取文件为字符串
换行符/t 分隔字符串为数组
数据把 id map 出来
对数组进行 [...new Set] 变换
判断变换前后 length 是否一致

[ffw5b7]

类似分库分表怎么排序查询 top10 一样处理

[Tiking]

老实交代，前几天的上亿裤子，你是不是下完了

[nuII]

@NESeeker 脱裤，就是数据库

[sud0day]

@Jirajine 加一，我一听描述感觉就是 TG 上的社工库

[sankooc]

准确率要求高么 不高的话可以考虑 HLL

[FaiChou]

@beyondstars #31 我想到的也是 Trie 数据结构