关于爬虫去重算法 BloomFilter 和 simhash 这两个哪一个更好？

[monburan]

rt
想要通过使用算法实现判断相似的 url 来去除结构相似的页面，减少后续功能的工作量。
现在看到网上推荐的爬虫去重有 BloomFilter 和 simhash 。
之前没有接触过去重这块的知识，有没有用过这两种算法的 V 友，或者说有更好的方法实现去重的，给点建议

[knightdf]

url 就用 bloomfilter, 如果是页面内容可以用 LSH

[monburan]

@knightdf 非常感谢

[binux]

BloomFilter 个 simhash 不是一类东西，要怎么放在一起比较？

bloomfilter 是用来降低去重空间复杂度的。
simhash 是用来降低相似度比较复杂度的。

根本不是一个东西。而且，这两个东西

bloomfilter ，如果你的 url 数小于 10 亿，不用考虑 bloomfilter ，直接数据库去重。
simhash ， url 文本空间太小，不好使。用去除无用参数解决。

[monburan]

@binux 非常感谢

[sleshep]

bloomfilter 生产环境用过，有个很难受的地方就是，你无法从历史数据里删除某个 url