Python flask web 开发，大数据量计算并导出文件，如何解决超时问题？

[alvy]

• 问题描述：
  用户导出 excel 文件， excel 里面的内容需要经过复杂的查询和计算，如果数量很多，就会导致服务器压力较大，而且会超时倒不出来

• 解决办法：
  采用 celery+redis ，后台队列运行，但是经常会出现任务丢失的情况，有的时候能导出，有的时候导出就没下文了。 不知道有没有其他解决办法？谢谢

[julyclyde]

@eyp82 你这点儿连完成与否都不一定的任务，目前还不需要考虑基础软件的稳定性问题。

[eyp82]

@julyclyde 啥? 我不是楼主

[gevin]

@maemo redis + celery 丢失任务，是指服务器断电重启时才会发生的情况吧

[liyj144]

用 flower 监控下 celery ，大并发下 celery 可能会有处理失败，但是应该不会丢失任务（除非 broker 存储的任务丢失，这就是 redis 或 mq 配置问题了）。

[skywatcher]

@alvy 共用一个 redis 没什么问题，但是不要清空别的 web 的数据，前缀要不一样，最好能分开。我们是一台 4 核 8G 的虚拟机启用 8 个 worker ， worker 不够你可以多台机器同时开启 worker 一起去抢 redis 的任务

[alvy]

@skywatcher "但是不要清空别的 web 的数据，前缀要不一样，最好能分开" ，我不太明白。我现在有 3 台服务器，每台启动两个 worker ，配置是 CELERYD_NODES=2 ， 3 台服务器 celery 的 broker 都是练的同一个 redis ，但是簇不一样，比如一台服务器的 broker 是 CELERY_RESULT_BACKEND = 'redis://10.174.93.111:6379/5'，另一台是 CELERY_RESULT_BACKEND = 'redis://10.174.93.111:6379/2'