大佬们 我这协程写的有毛病吗？

[Ritter]

想用 Python 做一个后台扫描工具
仿照 asyncio 官网的生产者消费者模式写了一个 demo
发现运行到一半会阻塞住（有时会，有时不会？）
但我看着貌似不会卡住啊
求大佬救救孩子

[Ritter]

@chenqh 大佬 我打印了一下 貌似是在 self.q.get()这卡住了

[Ritter]

@youngce 请求库是 aiohttp 异步的 意思是 读取文件那里卡住了吗

[Ritter]

@ipwx 大佬 asyncio 的队列能跨线程使用吗

[Ritter]

@chenqh put 这个函数是可以运行完的

[chenqh]

@Ritter 先把日志打出来呀

[chenqh]

@Ritter 我怀疑你 put 跑完了，但是 consumer 还是卡在哪里

[ipwx]

@Ritter run_in_executor 本来就是把一个阻塞函数扔到别的线程里面执行，然后把结果拿出来的。

def fn():
....something to do

await loop.run_in_executor(fn)

[freshgoose]

看来 py 的协程还是很多坑啊……这么说现阶段还是用 golang 写并发比较好？

[Ritter]

@chenqh 好像是 但是我后面一句已经把 consumer 取消了

[Vegetable]

@ipwx #8 并不是无法执行阻塞，只是会阻塞 eventloop 而已。这地方不会卡死。这个方法内部的操作也并不是耗时操作。

[Vegetable]

你这个程序由于 crawl 是不会主动跳出的，所以当任务执行完毕之后，所有 await queue.get 都会阻塞，等待新的任务入队，是卡在这里吗？

[Ritter]

@Vegetable
async def run(self):
crawls = [self.crawl(i) for i in range(self.max_concurrency)]
consumer = asyncio.gather(*crawls)
...
# cancel consumer
consumer.cancel()

我这里已经把 consumer 取消了

[BBrother]

有个库叫做 aiofile，你的文件读取是阻塞的

[Ritter]

@BBrother 可是 put 函数是可以完整运行完的 这里是运行到一半的时候卡住了

[chenqh]

@Ritter 我一般不是这么退出的， 我一般是再 producer 那边放入特殊的字符串，比如"__end__",然后 consumer 那边接受处理，自己退出的， 你试一试？

[chenqh]

@Ritter 你这个就是 consumer 的退出问题，导致的

[jyyx]

消费者那里抛异常, self.q.task_done 并没有执行
加 try finally 试下

[Vegetable]

#37 jyyx 说的对，报异常会导致任务消费出问题，join()那里会卡住。

[BBrother]

@Ritter 你的卡住是指程序运行到一半不动了，并且没有输出，也没有执行完，而且还是概率触发？

[Ritter]

@chenqh https://asyncio.readthedocs.io/en/latest/producer_consumer.html 官网第一个例子应该是你说的这种处理方式 我之前试过貌似也会卡住