爬虫判重

[1a1a11a]

一般大家用什么办法判断 url 已经被爬过了？ 用 hashmap 感觉内存消耗无上限啊，几十 G 内存唰唰唰就满了，用 sqlite 感觉 HDD 会成瓶颈？

[allgy]

#1 楼正解

[1a1a11a]

@bjlbeyond 好像不太对题？还是我没理解到点？

[1a1a11a]

@Lax HLL 是什么，三个字母不太好搜，能不能给个名字？谢谢啦！

[1a1a11a]

@v2pro 好东西，学习了

[jiangzhuo]

@1a1a11a 果然大半夜事多了就是精力不集中， 1#说的对 bloomfilter+个 bigtable 什么的足够了

[1a1a11a]

@jiangzhuo 谢谢

[Lax]

@1a1a11a HyperLogLog ， redis 内置支持 https://redis.io/commands/pfadd

[1a1a11a]

@Lax 谢谢