关于爬虫网站的更新的问题，请帮忙一下，谢谢

[nightSlient]

有两个问题想问一下，第一：怎样识别被爬去网站的更新，有什么角度，维度来进行识别？ 第二：如何启动定时爬虫？

[b821025551b]

1 ：更新条目：第一次爬到的条目存下来，第二次爬到第一次的最后一条，判断是否最后一条的标志最好是 id ，如没有 id 则用名字，但要注意名字更新问题；
更新内容：相当于全部重新爬一遍了。
2 ： crontab

[nightSlient]

@b821025551b 谢谢收到了启发，第一个问题，确实维度不好整。谢谢

[jnduan]

1.
更新条目：爬过的 url 你不存么？一段时期内爬过的就不用再爬了啊
更新内容，有 etag header 可以用 etag 判断，没有的话，通过你从网页抽取的 md5 一类的判断，或者页面关键页面元素内容判断
2.
这其实是抓取任务调度的问题。建议你做一个抓取队列，爬虫从队列取任务，爬完汇报。至于怎么维护队列（优先级、频率、周期）取决与你的需求

[nightSlient]

原来使用 APScheduler 也可以做定时任务，谢谢啊

[nightSlient]

@jnduan 很瘦启发，非常感谢！