大家在爬虫爬数据的时候都是怎么过滤>>数据库里存在<<的重复数据的？

[solomaster]

比如，我每天爬新闻，爬文章，内存中可以用 set 或者算法来做过滤，但是已经存到数据库的数据，如何保证你抓取的时候不重复呢？
目前我是把网址 hash 之后存了个字段在数据库，每次网址的时候都去做判断。感觉太粗糙，而且数据量大了，就算 hash 做了索引，每次判断也很拖性能吧？
大家有啥好的办法么？

[binux]

读一下能耗多少性能啊。你爬的数据量大还是用户的访问量大。

[ooonme]

一般爬的时候不判重，下游数据清洗的时候解决重复问题

[solomaster]

@binux 爬的数据量大。但是现在还没到瓶颈。只是有这个担忧。

[solomaster]

@ooonme 下游清洗数据之后，会删除爬虫数据库的原始数据么？

[kslr]

@solomaster 最简单的就是最好用的，你硬要折腾可以看看布隆过滤器。

[ooonme]

5 楼说了，用过滤就好了，数据分析一般不修改数据只做转换

[keysona]

url 判重的看布隆过滤器吧。
数据的话查一下就好吧....

[warmheartli]

看你是想过滤 url 重复的还是过滤内容重复的，过滤 url 那就 url 去重没什么好说的，如果想对内容去重，可以先粗算再精算，粗算就是采取找到正文里句子最长的那个句子，算签名去重，精算就是当发现签名一样的时候再挨个句子判断

[askfermi]

网址的话用 Bloom Filter