爬虫如何实现增量爬取？

[PHPer233]

有一个论坛，每天都有新的帖子发表，我想让爬虫每天只爬取新增的帖子，而不是把已经爬过的帖子都爬取一遍。这种需求该如何实现？求思路。。

[caiem]

帖子是自增 id 么.增量时读取 max id 就行了嘛

[qsnow6]

去爬帖子列表页， 每次都把当前页的 url 和数据库中的对比，如果没有重复的说明，这一夜都是新的 URL，然后下一页，直到出现部分重复或完全重复的页面

[thedog]

redis?

[fiht]

实现增量一个最简单的办法是每天抓取一下首页 链接。