求解， python3.5 的 asyncio 库， async/await 的一些疑惑

[fghjghf]

async/await 这个协程 异步为什么对磁盘 io 无效？

import asyncio
async def wr1(): # f = open('text1.txt','w') # for x in range(1,39999999): # f.write('12345ddd') # f.close()

f = open('text3.txt','r')
print(f.read())
f.close()

async def wr2(): # f = open('text2.txt','w') # for x in range(1,79999999): # f.write('23456fff') # f.close()

for x in range(1,519999):
	print('xx')

async def wr3(): # f = open('text3.txt','w') # for x in range(1,99999999): # f.write('34567ggg') # f.close()

for x in range(1,919999):
	print('yy')

def demo4():

async def washing1():
    await wr1()

async def washing2():
    await wr2()

async def washing3():
    await wr3()


# 1. 创建一个事件循环
loop = asyncio.get_event_loop()

# 2. 将异步函数加入事件队列
tasks = [
    washing1(),
    washing2(),
    washing3(),
]

# 3. 执行事件队列, 直到最晚的一个事件被处理完毕后结束
loop.run_until_complete(asyncio.wait(tasks))


# 4. 如果不再使用 loop, 建议养成良好关闭的习惯
loop.close()

if name == 'main': start = time()

 demo4()  

end = time()
print('elapsed time = ' + str(end - start))

第一段是读取磁盘，第二第三段是打印。按道理遇到 io,dma 交出总线，cpu 就空运转直到有数据才工作，所以 wr1 应该和 2 或 3 一块执行才对的，而实际情况不是这样的，是跟单线程同步执行一样的所需时间

[lucays]

washing1()，washing2()，washing3()不要 await wr1()，wr2(), wr3()这么搞，这样本来就和同步一样了

[lniwn]

首先你得明白协程的概念，不是加个 async 修饰就能叫异步函数的。如果使用了 asyncio，那 io 以及 sleep 等操作，就要使用 asyncio 包内的封装函数。或者使用 executor 。
你的代码里 open 操作卡死整个线程，导致没法 yield 到其他协程，所以只能顺序执行。

[CosimoZi]

不是你说他是协程它就是协程的,它得是协程它才是一个协程.
https://github.com/Tinche/aiofiles

[gwy15]

在异步函数里面调用同步函数还是会阻塞的啊，你得用异步的文件接口。官方库里面没有，得用线程池，或者你自己造。

[iyaozhen]

这就是 Python 这些语言半路出家搞协程的缺点

底层很多东西没有异步，不是简单加个 async 关键字就解决问题了

其实目前绝大部分异步方案都无法做到文件 IO 的异步，都是线程池去模拟的

[iyaozhen]

可以看看这个 https://github.com/Tinche/aiofiles/

[janxin]

需要选择支持异步功能的 io 库

[fghjghf]

@lniwn 不懂求解。那就是说，必须是 asyncio 包内封装的函数，例如 asyncio.sleep(3)这种才有用吗？(我也测过，asyncio.sleep 函数的确有效，会快很多，但这不是真的 io 操作啊)。那遇到真的 io 操作如何是好？其实我是想和 tornado 搭配用的。tornado6 不支持 @gen.coroutine 了，必须用 async/await 。我的理解 ioloop 是通过 epoll 的 in out error 非堵塞做到单线程高并发的，遇到 EAGAIN 就用协程继续执行另一段逻辑。不知道这样理解是否有错

[Trim21]

网络 io 有原生协程，文件 io 要要协程只能用线程包起来，没法原生异步。

[fghjghf]

@Trim21 不懂求解。
from tornado.web import RequestHandler
from tornado import gen
import tornado.ioloop

class IndexHandler(RequestHandler):
def get(self):
self.write('this is index')

class BlockingHandler(RequestHandler):
async def get(self):
result = await self.dosomething()
self.write(result)

async def dosomething(self):
# 如果是其他处理函数或者逻辑，要保证函数是协程
await gen.sleep(20)
return 'block end'

app = tornado.web.Application([
(r"/index", IndexHandler),
(r"/blocking", BlockingHandler)
])
if __name__ == "__main__":
app.listen(80)
tornado.ioloop.IOLoop.instance().start()

那 async/await 用在 tornado6 上有啥作用呢？一定要 asyncio 内包装的函数才有效。但 IOLoop 已经用 epoll 实现网络 io 复用了。实际应用中，堵塞的不都是磁盘 io 么。那这么做的目的又是啥呢

[Trim21]

@fghjghf #10 io 复用和异步 io 是两个概念吧，async/await 是为了解决 io 阻塞，不负责解决 io 是否复用的问题。

[fghjghf]

@Trim21 但网络 io 的堵塞问题，封装 eopll 的 ioloop 已经帮我们处理了。底层有个队列。socket 非堵塞执行，epollin 和 out 的时候才能寻找对应路由表执行逻辑。EAGAIN 就 modify epoll 的状态，继续执行队列的下一个，如此类推。那就是能走到路由表的 client socket 的网络 io 绝对是可用的。根本不存在堵塞啊。那 tornado 上的 async/await 具体有啥作用呢，不知道我这理解有没有错

[Trim21]

@fghjghf #12 这个是 python 语言内的异步。之前 python 同步调用（比如 requests.get ）是没法在 io 阻塞的时候让出解释器的。

[PTLin]

这时候就得拿出这个了 https://hatboy.github.io/2019/02/16/Python%E5%BC%82%E6%AD%A5%E7%BC%96%E7%A8%8B%E8%AF%A6%E8%A7%A3/

[lolizeppelin]

没学会走就开始跑就这结果了

正正经经的把异步编程写几次,什么 select,epoll 多线程都好好用过几次再来折腾协程吧

别堕落到低端 php 程序员的水准好么

[neoblackcap]

async/await 本质上是对 IO 复用机制的封装，系统提供的 IO 复用不能完成的事情，async/await 也不能实现。比如你想用底层是 epoll 实现的 eventloop 去处理文件 IO 那是不行的，要不就是模拟。
去读《 Unix 网络编程》吧，回来就会更好地理解这些语法

[dreamapple]

python 的异步不完备吧，现在没必要在上面浪费时间

[conn4575]

官方 group 有讨论过这个问题，由于底层系统不支持，现在的异步本地 io 都是多线程包装的，实际的提升很小，所以 asycio 才没有做这个

[CzaOrz]

--- async/await 这个协程 异步为什么对磁盘 io 无效？

可以看看官网文档，明确说了对磁盘 IO 不支持，他们推荐 `loop.run_in_executor`

[lniwn]

@fghjghf #8 11，16，19 楼已经回答这个问题了。