2 个 exlcel 千万条手机号，怎么合并去重呢？

[jry]

用 mysql 、es 、mongodb 、其它哪一种合适？

[heyjei]

linux 命令中的 sort | uniq 是最简单的方案。如果是 Windows， 安装了 git bash，应该附带了这两个命令

[wellsc]

一楼审题了吗

[koast]

其实一楼没毛病啊，只要打开这两个 excel，文件，导出为 csv，然后 sort|uniq 就行了，无非就是多等一会的事情。几乎不需要考虑什么...

[inhd]

https://i.loli.net/2021/05/03/g85bIWQO7NkAcKD.png

[Baboonowen]

Excel 自带去重。。一键去重。。

[dzdh]

需要经常使用，找个数据库。
就用一次，145 楼都可

[czfy]

我好奇这千万条手机号是哪里来的

[HankLu]

@czfy 你懂得

[xupefei]

Sort uniq 性能肯定不如直接去重啊。
你这数据量随便写个脚本用 hashmap 跑一遍就行了，不需要数据库。

[renmu123]

然后发现最大的问题是从 xlsx 读取这个千万条数据

[matrix67]

@koast #3 对 一楼没毛病，二楼是要导出都写在步骤里


@czfy #7 社工库？黑产警告！！

[8e47e42]

@xupefei sort | unique = O(n log n)
Hash 最差可能是 O(n^2)最好可能是 O(n)
sort 的内存占用远好于 hashmap
因此不一定 hash 更优

[drawstar]

@Baboonowen 千万条的 excel 估计打不开吧

[jry]

还要得到新旧合并、新旧合并不含重复，重复，三分数据。

[BQsummer]

看标题我还以为是算法题呢，用 bitmap 处理[doge]