关于 celery 异步任务的问题

2019-03-26 22:04:09 +08:00
 yuoboo

使用 celery +rabbirmq 发送异步任务 每个任务有独立队列

如何统计每分钟任务发送量和最大峰值极限发送量各是多少？

如果队列突然进入大批量任务，如何能快速处理大批量任务？

任务执行不成功如何以可控时间间隔来重复执行失败任务？

等大佬赐教！！

1458 次点击
所在节点    问与答
3 条回复
yuoboo
2019-03-26 23:03:41 +08:00
等大佬上线
di94sh
2019-03-27 04:49:19 +08:00
1.直接监控 rabbitmq
2.celery 是分布式任务队列，那么加机器。机器不够就通过监控 rabbit mq 弹性扩容。
3.执行异步任务时都把入参，任务的 key，任务执行状态写到数据库。任务完成后更改数据库里状态。再搞一个定时任务，去数据库把失败的任务放到队列。
yuoboo
2019-03-27 08:36:19 +08:00
@di94sh 感谢

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/548901

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX