为什么基于协程的爬虫要比基于线程的爬虫慢？

[Feiox]

实测：
20 个协程 * 1000 个任务 = 23 秒
20 个线程 * 1000 个任务 = 12 秒

10个协程 cpu 占用 2.3%
20 个线程 cpu 占用 56 %

测试代码为最简单 get 网页（ with gevent.pool & reqeusts）

[felixzhu]

切换成本？

[phoneli]

网络io处理的问题？

[imn1]

你那个不是乘的关系吧？
12秒 1k任务挺难想象的……爬什么网？
如果只是本地，实际上只是磁盘IO……

[est]

目测代码姿势奇特。

[clino]

因为协程只能用一个cpu吧
所以适合与高IO低CPU的任务

[wuyadong]

requests是阻塞的吧。这样用没有用到协程的效果吧。

[clino]

是不是因为爬到本地以后要做不少耗CPU的处理导致有这样的结果?
如果有比较耗CPU的动作,看能不能在协程中调用子进程处理,这样就不会因为高CPU阻塞本进程

[Feiox]

@imn1 学校的网。。。是很慢的。
@wuyadong `requests` 是阻塞的？应该和这个没关系吧。。。确实比单线程块很多。
@clino 没有。纯粹的 get 一个网页

[richardtsai]

@clino +1

request的阻塞应该可以用gevent.monkey.patch_socket()变成非阻塞~？不过我也没试过……

[dant]

20 个线程应该完全没有压力啊...
不过 CPython 好像有 GIL？

[tabris17]

你协程有没有充分利用多CPU资源，协程使用的IO库是不是阻塞的

[sujin190]

协程不是这么用的

[haython]

为什么协程会比线程快？

[cloverstd]

requests 用的是 httplib

你可能需要看看这些
http://docs.python-requests.org/en/latest/user/advanced/#blocking-or-non-blocking
http://stackoverflow.com/questions/9501663/how-enable-requests-async-mode
https://github.com/kennethreitz/grequests

[zhouquanbest]

为了取得平衡
我一般是多worker(process)+gevent
数量根据业务调配 这样比较方便

（论人手一个Python爬虫轮子的重要性）

[clino]

楼主用 grequests 试过了吗?

[njutree]

首先不同语言的协程和线程还是有区别的，其次楼主爬的什么网页io高么，最后使用协程的时候没有让他们有阻塞么？

[zenliver]

request 阻塞的 无误

[wuyadong]

@Feiox request是阻塞的，异步的关键是非阻塞的IO。我不是特别清楚gevent是否能将request转成非阻塞IO，但是我觉得有可能这个阻塞IO可能是关键。：）

[dishonest]

@wuyadong @Feiox gevent 我记得是可以转requests的。