求分布式任务队列库推荐

2023-08-27 22:42:12 +08:00
 kice

Celery

Dramatiq

taskiq

samuelcolvin / arq

不知道 dalao 们还有其他无推荐的?或者说一下什么情况下,应该要自己写一个。

2255 次点击
所在节点    Python
8 条回复
GoLand
2023-08-27 23:29:04 +08:00
选 celery 就可以了,不用纠结。经过时间考验的,生态也够。
masterclock
2023-08-28 08:37:53 +08:00
对照实际需求,考虑 temporal 看看?
kuituosi
2023-08-28 09:28:57 +08:00
开源的大部分有 bug 一堆,我有成熟可靠企业级自研产品,如需购买可报价
Maerd
2023-08-28 11:20:40 +08:00
还有 rq huey 这类的,国人开发的有 funboost ,支持的中间件差不多三十多个,性能也比上面的好很多,群里提 bug 基本上很快就发版回来给你解决了
chenzi0103
2023-08-28 14:28:19 +08:00
可以试一下以下两个:
1 ,Airflow, 你可以设置多个任务在一个 dag 中,然后使用 celery 来做执行器
2 ,Ray, 一个超级好用的分布式执行框架,简单上手难度低 ,配上 hydra 有奇效
ohayoo
2023-08-29 11:48:55 +08:00
taskiq 和 repid 我愣是没学会怎么用
akaHenry
2023-09-06 10:32:35 +08:00
1. 如果只会 python or 小项目, 那就 celery + rabbitmq.

2. 如果不局限 python 生态内. 更推荐 nats 和 kafka. (尽早使用跨语言通用的中间件, 迁移时, 少扔代码)
hanssx
2023-10-23 16:24:45 +08:00
celery 现在什么版本了,之前 4.x 5.x 的错误 bug 一大堆,N 多没解决的,推荐 Dramatiq

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/968708

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX