Python 2.7 Gunicorn + Flask，有大量的第三方服务 http 请求， requests 库阻塞导致出现性能瓶颈

[woostundy]

该怎么优化呢？异步 http 客户端的库哪个比较靠谱？

[nullcc]

换 tornado

[aisk]

直接上 gevent，代码都不用改，启动 gunicorn 的时候增加一个参数 -k gevent，自动帮你打 monkey patch 好 monkey patch 了。

[woostundy]

@nullcc 兄弟。。这成本有点大啊

[woostundy]

@aisk monkey patch 对 requests 现在还有效吗？我自己单开测试的时候还是阻塞的啊。
加了 httplib=True 会报已经不支持。

[yonoho]

@woostundy 有效啊，你咋测的

[terrawu]

gevent 和 requests 相性不和，楼主你用 httplib2 + gevent 吧，这坑我踩过的。

[cloudyplain]

gevent+requests 没问题。

[troywinter]

看 gunicorn 关于 worker 类别的文档，对于这种第三方请求服务有很具体的说明。

[aisk]

有效，你怎么测试的？如果你只看单个请求，看上去 requests 去请求远程接口的时候是阻塞的，不过如果这个时候还有其他请求过来，gunicorn 还能继续提供服务的。

[gouchaoer]

说换 tornado 的，你们去看看 tornado 的那个异步 httpclient 好用不，而且人家都用 flask 写了

我说结论吧，无解。。。换 go 语言吧

如果你使用 php，那 swoole/zanphp 可以做到同步方式来写异步 /协程

[gouchaoer]

你 flask 是同步的，用异步 httpclient 没用啊。。。

[lerry]

多开一些 worker

或者楼主你来看这个 https://github.com/kennethreitz/grequests

[aisk]

@gouchaoer 看了 gevent 你就懂了，flask 照样玩异步

[EchoUtopia]

gevent 可以把你的 python 同步阻塞代码自动变成异步的，patch_all 加个 httplib=True 参数，你看下在 gunicorn 下对应怎么处理

[EchoUtopia]

好吧，没看到你说不起作用了

[SlipStupig]

grequest

[laoli2017]

推荐 sanic，这个完全是基于 asyncio 来实现的，当然现在还不太成熟，但是性能上完全没问题（我做过压测，比 tomcat 强多了）。而且也不需要其他应用服务器，比如独角兽什么的。

[mengskysama]

gevent requests 一点毛病没有，参考 grequests。

[yonoho]

我猜楼主的测试是在一个请求里调用多次 requests，并期待并行执行的效果。但因为代码本身写成了同步顺序执行（多行或者循环），所以用了 monkey patch 也没用。这种情况下不改代码是不可能并行的，最简单的方法是依然使用 gevent worker，然后使用 #12 提供的 grequests 包重写第三方 http 请求部分，把这些 http 请求放在一起调用 grequests.map （ gevent.spawn ），就能实现并行加速。

[alvinbone88]

建议换 aiohttp