一个关于 scrapy-redis 调度的问题

2019-03-31 00:34:47 +08:00
 ghd700

请问在 scrapy-redis 中,构造下一个请求时,直接 yield request 和将 url 入队到 redis 有什么区别?在需求上都可以满足需求,各位大佬推荐用哪种? 我感觉将 url 入队 redis,这样发起下一个请求是由 scrapy 控制,但如果直接 yield 一个请求,在大量的 request 情况下会不会影响 scrapy 的调度?

1803 次点击
所在节点    Python
2 条回复
WilliamYang
2019-03-31 01:39:09 +08:00
如果你用了 scrapy-redis 后, 直接 yield request, 调度器会把该次请求及相关参数序列化到 redis 了
ghd700
2019-04-03 19:38:58 +08:00
@WilliamYang 那就是没有区别咯

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/550398

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX