为什么基于协程的爬虫要比基于线程的爬虫慢？

2014-12-09 11:03:03 +08:00
 Feiox
实测：
20 个协程 * 1000 个任务 = 23 秒
20 个线程 * 1000 个任务 = 12 秒

10个协程 cpu 占用 2.3%
20 个线程 cpu 占用 56 %

测试代码为最简单 get 网页（ with gevent.pool & reqeusts）
5280 次点击
所在节点    Python
21 条回复
datou552211
2014-12-30 10:35:14 +08:00
协程 语言本身代替系统做了线程的工作 所以和语言的效率有关

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/152543

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX