请问在 scrapy-redis 中,构造下一个请求时,直接 yield request 和将 url 入队到 redis 有什么区别?在需求上都可以满足需求,各位大佬推荐用哪种? 我感觉将 url 入队 redis,这样发起下一个请求是由 scrapy 控制,但如果直接 yield 一个请求,在大量的 request 情况下会不会影响 scrapy 的调度?
1
WilliamYang 2019-03-31 01:39:09 +08:00 1
如果你用了 scrapy-redis 后, 直接 yield request, 调度器会把该次请求及相关参数序列化到 redis 了
|
2
ghd700 OP @WilliamYang 那就是没有区别咯
|