scrapy 在一台电脑运行,多线程是如何工作的呀

2014-09-27 04:34:07 +08:00
 fdsfsdfsdf3334
scrapy 通过 start url 获取到了100个url,那么 在抓这100个url的时候,是一个线程去抓的,还是它会自动把100个url进行分割,然后分给不同的线程去抓呀
5788 次点击
所在节点    问与答
1 条回复
caoxiaozh
2016-07-26 23:43:09 +08:00
scrapy 默认是 10 个线程的。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/135945

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX