Celery 配 redis 遇到任务丢失的问题

[nightstart]

环境 Linux Python3 Celery Redis 作为 broker 和 backend 我在代码里面用的是 task.delay()的方式传参数

然后在 task.delay()前面加了打印的日志 然后日志明明收到了两次 但是 celery 里面只执行了一次 请问一下这是为什么啊

顺便 各位 celery 的 daemon 都是拿什么跑的 除了 supervisor 以外 顺便 celery 的任务发布 broker 用的是 redis、 那是不是发布任务的时候要往 redis 的 list 里面插入相应的数据 那这个 list 的名字又是什么呢

如果 task 还没用 celery 的方式执行、task.delay()还会起作用吗

[param]

celery 的进程有没有重启过？用 Redis 作 broker 的话，任务会存在内存里面，如果 celery 进程要结束了，就会在临死之前把队列存进 Redis，下次启动时再从 Redis 读取。这种情况下，当 celery 被 kill -9 了，任务将无法存进 Redis，内存中的任务会丢失，另外，定时任务量太多会消耗内存资源。所以我换 rabbit mq 了，毕竟 rabbit mq 本来就是消息队列。

[julyclyde]

我觉得 lz 语言能力比较差
还是贴代码吧

不知道你所谓“在 task.delay()前面加了打印的日志 然后日志明明收到了两次”具体是怎样的

[nightstart]

@julyclyde 抱歉抱歉 就是在调用 task.delay 之前 我打印了 before task_delay.... 这样的日志。 调用两次之后日志文件里面会收到两次这样的日志信息 但是 celery 里面只有一个任务在执行....

[julyclyde]

@nightstart 另一个是不是执行完毕了呢？

[lauix]

@param @nightstart
同遇到这种问题，数据量少的时候没发现，现在数据量任务很大。
采用 redis 经常丢失任务。求问怎么解决的？
换 rabbit mq ？？？

[param]

@lauix 对的，celery 还是用 rabbitMQ 作 broker 比较好