测试了一下 requests 的效率

[josephok]

欢迎讨论。

http://josephok.github.io/2015/02/07/requests-test/

[invite]

单线程的时候，没有对比的？

比如用wget单个单个的下，看看耗时多少。

而且，测一次很明显不能排除耗时是否由网络引起或者对方服务器引起。

[leyle]

看了你的文章了，你的结论是什么？

[leyle]

@leyle 可以得出的一个结论是，在 python 编写的程序中，I/O bound 型应用，使用多线程能大大提高效率。

[lincanbin]

干扰变量没有控制，测试准确性存疑。
我觉得你可以通过有线网络访问内网一台Web服务器进行抓取，这样的结果所受干扰变量较少。

[a2z]

我自己的测试是multiprocessing最快，gevent其次，threading有时候还不如单线程快……

[VYSE]

gevent改成grequest再测

[ffffwh]

这gevent靠谱么。。有试过手写回调的方案么。

可能单线程异步会稍微慢一点，弄2~3个应该差不多（线程数=c）。但I/O Bound用同步多线程（线程数=n）绝对是不好的。

[josephok]

@leyle 嗯 看了你的文章： http://www.leyle.com/archives/threading_and_queue.html 改天研究一下你的代码。

[leyle]

@josephok 哈哈，互相交流哈。