有关 分布式任务处理 Celery 的小问题

[NoBeeBee]

最近一直在捯饬分布式任务处理的问题，在探索的路途中感觉发现了一个宝---celery。 感觉好牛逼的一个分布式任务处理的开源框架。但仔细找了找相关资料，除了国外官网的资料，目测国内百度上面搜了搜也都是一些入门的小栗子，完全没有体现出 celery 的正常实力水平。

难道各位大神没有用过 celery 吗？
还是我太 low 了，已经没人玩 celery 了。。。

难道各位不用 分布式任务处理吗，还请各位给小弟指点迷津

[NoBeeBee]

还想问大家目前都用的 celery 的哪个版本。
我目前用的是 3.1.25 （因为用 4.0.0 时发现 Rabbitmq 和 celery 中的 flower 老是无法正常连接，别告诉我你们没有遇到
-_-!）

[yongzhong]

@NoBeeBee 目测是你的 flower 和 celery 启动顺序问题导致看不到 worker

[Lihz]

@Anlim
broker 从 redis 换成 Rabiitmq
异步任务中涉及网络连接的部分超时、重试机制要确定
全局超时时间可以调小点

[glogo]

国外的文档也不难看懂啊...

[NoBeeBee]

@yongzhong 我仔细回想了一下，我遇到的应该是 4.0.0 celery 无法在 rabbitmq 中创建 queue，导致 所有 worker 能找到 broker 但是订阅不到 queue。flower 中是能看到 worker 的。

[NoBeeBee]

还有想问问大家都是怎么来运行大批量 worker 的：

目前本人使用 docker compose 批量启动运行大量包含 celery 的容器 worker 来运行的，
内部运行的程序主体 是通过 docker 中 volumes 文件映射 将 同一 host 主机中的 所有 worker 类 docker 全部映射到 同一文件路径，然后各 host 再通过 git 来更新迭代代码。（不知道大家都在用什么方法，感觉自己应该不是最 low 的一个吧）

[ifoolish]

最近正在用，选用 celery 主要是因为和 django 配合有 djcelery 这个现成的第三方扩展可以在 django 运行时动态添加删除定时任务

[Anlim]

@Lihz 其实基本上 req 都设置 timeout, 目前基本上每天都上项目 Celery Flower 看看。看看日志，暂停了就简单粗暴的 restart。之前在一个新的项目中有读取不到 celery task，然后重启 redis 后竟然可以了：）。

[jerrychan807]

@ifoolish 能解决时区的问题吗？我用的是 django-celery-beat,如果是默认的 UTC 时区，就没什么问题。改成东八区就出问题了~