scrapy 如何多开

[ssllff123]

用 scrapy 爬几百万的 url ，现在开一个 scrapy 效率有点慢。

考虑如何多开几个 scrapy ，通过分割队列来运行。

现在遇到的情况是 复制原来项目，修改 spider 名字以及 setting 部分设置。 运行报错找不到 spider

仅仅复制原来项目，修改队列。 发现还是原来的 spider

请大家指教下，如何通过分割队列运行 scarpy

[laoyur]

把这几百万 url 扔到 redis 里，让爬虫自己来取？

[BiggerLonger]

試一下把線程數開高一點

[facat]

爬虫是受网络 i/o 影响大，多开不见得有效果

[neosfung]

https://www.zhihu.com/question/26062225

[mrytsr]

分级的话 内部自动通过 协程多开

[ssllff123]

好吧 。发现多开并没有提高多少效率。现在能提高效率的应该就是 redis 了。