请问在 scrapy-redis 中,构造下一个请求时,直接 yield request 和将 url 入队到 redis 有什么区别?在需求上都可以满足需求,各位大佬推荐用哪种? 我感觉将 url 入队 redis,这样发起下一个请求是由 scrapy 控制,但如果直接 yield 一个请求,在大量的 request 情况下会不会影响 scrapy 的调度?
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.