还在用老掉牙的 celery? 换 dramatiq 试试。

[est]

有多年专业 celery 使用经验的罗马尼亚工程师 Bogdan Popa 觉得 Celery 就是个大烂坑。于是又发明了个 python 异步任务框架轮子 dramatiq

https://dramatiq.io/motivation.html

受到 sidekiq 的启发。对标 celery 和 python-rq (redi queue)

[frostming]

@find456789 setup 函数里的 extra_requires，按需安装。看看 setuptools 的文档就知道了。

[fwee]

这协议和商业方式才是受到 sidekiq 启发吧

[fwee]

不对。。这协议比 sidekiq 狠啊

[allenling]

纯比速度的话～～未必吧
https://github.com/allenling/magne

[est]

@allenling 这是你自己的轮子？

我没理解错的话，magne 就是同进程用 curio 去 spawn 一个单独的 coroutine 去处理异步任务？

[allenling]

@est 嗯嗯～之前老早就像替掉 celery 了，代码看吐了～～然后测试了一下协程的情况～～

我的思路是：每当有一个任务进来，就 spawn 一个协程去执行，所以基本上可以达到上千个协程”同时”执行～～
要发挥到协程 spawn 很便宜的特性

[allenling]

@est 我 GitHub 重新整理了一下，把 dramatiq-gevent 的测试，和多进程协程测试的情况加了进去

[hanssx]

celery 确实是坑，各种未解决 bug，直接报错报到 celery 本身的代码错误，比如这个未解决的问题，https://github.com/celery/celery/issues/3773

[est]

@hanssx 看上去就是连接已断开的问题。