请问爬虫如何应对内容频繁更新的网页呢？

[Len1133]

总感觉重新爬一遍比较笨，效率也低，而且将来网页变多说不定我重新爬的速度赶不上他们更新的速度了。 各位有没有遇到这方面的问题，帮小弟出出主意。

[Len1133]

目前比较多的方法还是计算网页的哈希值然后比对，这样爬虫的工作量其实跟重新爬一遍没有区别，网页都扒下来了，再解析一下是很容易的。

[beforeuwait]

做增量更新啊

[Len1133]

@beforeuwait 做增量更新需要先检测到更新呀，现在的问题是检测更新的成本比较大。