Python flask web 开发，大数据量计算并导出文件，如何解决超时问题？

[alvy]

• 问题描述：
  用户导出 excel 文件， excel 里面的内容需要经过复杂的查询和计算，如果数量很多，就会导致服务器压力较大，而且会超时倒不出来

• 解决办法：
  采用 celery+redis ，后台队列运行，但是经常会出现任务丢失的情况，有的时候能导出，有的时候导出就没下文了。 不知道有没有其他解决办法？谢谢

[jswh]

为什么不去修 bug?

[mringg]

既然都用上 celery 那么还是你们自己的问题 而不是解决方案的问题

[maemo]

试试 celery+rabbitmq 呢，我记得官方文档有说 redis 会有任务丢失的问题

[wellsc]

@maemo 求出处~

[Zuckonit]

确定丢失是因为 celery 的原因？

[alvy]

@jswh 额，你说任务丢失的 bug ？

[alvy]

@mringg 我不确定 celery 是不是最优解决方案，可能有别的方案呢

[alvy]

@maemo 我也求一下出处？如果是真的，我就换 rabbitmq

[alvy]

@Zuckonit 不确定是 celery 还是 redis

[mringg]

@alvy 文档上确实说 redis 可能会有些问题

[50vip]

@mringg celery+redis 会出现定时任务执行两次或多次的情况，自己加一个锁就好了。不是很大的问题吧~

[50vip]

并不会出现楼主所说的任务丢失。仅仅是定时任务多次执行的问题。

[alvy]

@50vip 那我这种情况是什么原因呢？

[wwqgtxx]

我用 python-rq 觉得挺稳定的，没试过 celery

[gecco]

优化这个复杂的查询

[est]

先生成一个 下载 id 返回给客户端
然后客户端用另一个 API 可以轮询下载 ID 是否就绪。

[50vip]

@alvy redis 有权限的人太多，被人清空，或者说这个 db 和其他的引用复用了？

[nanlong]

文件流 https://blog.miguelgrinberg.com/post/video-streaming-with-flask

没试过，不知道能不能解决你的问题，仅供参考。

[alvy]

@50vip 两台服务器公用同一个 redis 库，会导致此问题？

[chenqh]

直接邮件啊