关于 epoll

[josephok]

个人理解是epoll可以同时监听多个I/O事件， 但是在处理就绪事件时仍然会发生阻塞。
比如：

https://gist.github.com/josephok/7f0e782a687c603ab4a5

https://gist.github.com/7f0e782a687c603ab4a5.git

在第39行，如果有个task需要执行1000s，那么这个时候进程就会阻塞在这里，其他客户得不到响应。所以需要将这个task变成异步的。比如：


`executor.submit(task)`


这时就不会阻塞，server进程可以继续响应其他客户。

不知道有没有更好的办法？

大家在处理这种问题时一般使用什么方法？

[neoblackcap]

最佳实践请参考Torndo源码

[mengzhuo]

简单的说，没有办法
因为epoll不是银弹，异步仅仅适用于IO密集

工作中碰到CPU密集一般是规避计算、减少内存分配（减少function call、memoryview＋zero copy黑科技、更改算法数据结构的、甚至是改通讯协议）

实在没办法避免的话，一般用多进程处理，或者用延后处理库：celery

恰好最近仿照Tornado，写了一个ioloop（你可以看成是Tornado的核心部分）
https://github.com/mengzhuo/ioloop

[puncsky]

我觉得你的理解是对的，楼上说的对，仅仅适用于IO密集，因为能够解除 thread-per-connection 的关系，变成 event-driven。这叫做 reactor pattern。

如果 event loop 也变成 async 的，那就是 proactor pattern.

http://www.puncsky.com/blog/2015/01/13/understanding-reactor-pattern-for-highly-scalable-i-o-bound-web-server/

[est]

> 在第39行，如果有个task需要执行1000s，那么这个时候进程就会阻塞在这里，其他客户得不到响应

这得看1000s阻塞的是什么东西，假如这1000s是也在等待其他IO，那么聪明一点的调度器会把纤程拿过来继续下一次epoll。

假如这1000s是把你8个核心跑满的计算小数点后100000000000000000位的Pi，那么神仙都没办法，只能大家一起等了。

[veezzz]

嗯，之前问过相关的问题，epoll只是IO的多路复用，我的理解是相当于一次性注册多个IO事件，然后让epoll去批量处理，但是epoll等待IO事件的时候会阻塞，不过可以设置让它马上返回，或者在一定时间内，至少有一个事件后返回 /t/159115