celery 如何预防 redis 出现单点故障

[resolvewang]

我使用 redis 作为 celery 的 broker 和 backend，但是出现了这么一个问题，当 redis 挂掉之后，celery worker 节点就无法工作了，我在网上也查过 redis 的高可用方案，比如 redis sentinel，但是这种方式好像很难和 celery 结合起来。

大家有不有啥比较好的方法，求告知

[bingxx]

不知道 celery 是否支持 redis cluster。支持的话，可靠性会高很多。

[julyclyde]

别想太多
根本犯不上

[resolvewang]

@bingxx redis cluster 目前 celery 官方没有支持，ask 在 issue2852 说了( https://github.com/celery/celery/issues/2852)。所以比较困惑

[resolvewang]

@julyclyde 此话怎讲啊？我前段时间运行一个 celery 写的分布式爬虫，结果我的 redis 服务器挂了，所有抓取节点就相当于挂掉了。请问有啥方法能提高它的可用性吗？

[julyclyde]

@resolvewang redis 足够简单，以至于很难挂了
redis cluster 很烂，近几年还是别费劲了