Scrapy 里的 job 是指的什么东西呢?

2018-02-18 17:46:59 +08:00
 ChenJinluo
想要爬虫可以恢复继续工作,看了 Scrapy 文档里 Jobs: pausing and resuming crawls 这一章,但是没看懂 job 到底是指个啥东西呢?<br>
求指点~
https://doc.scrapy.org/en/latest/topics/jobs.html
2340 次点击
所在节点    问与答
6 条回复
gouchaoer
2018-02-18 18:34:15 +08:00
要想自己定制就别用 scrapy
ila
2018-02-18 19:52:57 +08:00
@gouchaoer 用啥?除了自己写,pyspider 吗
zeq
2018-02-18 20:16:05 +08:00
涉及暂停恢复,那么 job 的定义就是一次抓取,现象成一组 URL 的集合。
zeq
2018-02-18 20:18:01 +08:00
@zeq 有几个错别字😒

一个 job,简单的理解就是一次 scrapy crawl ... 执行过程。
gouchaoer
2018-02-18 21:39:09 +08:00
@ila 用 requests+bs4 就完了
infun
2018-02-18 21:53:09 +08:00
可以理解为定时任务?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/431142

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX