求推荐一个Python的task queue / cron job系统

[keakon]

大致需求如下：
Web server为Tornado，所以希望将一些操作发送到其他服务器，异步去处理。
操作不一定是立刻进行的，也许是设置了一个运行时间，到了才运行。
该服务器可以保存这些请求，故障或重启后可以恢复，那些过了运行时间但还未运行的也会继续运行。失败可以继续重试。

粗略看了下Celery，貌似符合，但是文档太多，没细看。
还看了下RQ，文档很可怜，貌似没定时功能。
最后看了下Beanstalkd，似乎更弱？

于是头大中，求推荐=。=

[bhuztez]

from mailbox import Maildir

[Nourl]

zmq ?

比较难的是“故障或重启后可以恢复”.

[Brutal]

...Redis?

[jerry]

一直用celery， 挺好的，很稳定，文档也很详细

[reorx]

Celery 可以的，不过他的功能受 broker 的限制。根据我的使用经历，RabbitMQ 和 Redis 作为 broker 可以满足楼主的需要，RabbitMQ 可以配置故障时数据落地，Redis 基本也不用担心数据丢失的问题。Celery 自身就有让任务失败重试的功能，具体操作楼主可以研究下文档：

http://docs.celeryproject.org/en/latest/userguide/tasks.html#retrying

其他的 brokers 没怎么用过，不过数据库是不被推荐的。

[dafang]

赞同@reorx，目前的系统正在用，同样是RabbitMQ和Redis做为broker。Redis用于收集任务结果，解决了RabbitMQ一个task result一个queue的问题。

[keakon]

@reorx
@dafang 原来需要2个一起配合啊，看来得花不少时间了=。=

[est]

uwsgi 就可以做到大家所说的一切功能。过几天写个博客出来~~~

[Livid]

定时运行这个貌似可以通过 Tornado 的 ioloop 来实现定时发送任务。

至于其他要求，RQ 都可以满足。

[keakon]

@Livid Tornado 本身没有故障恢复啊，进程退出后就无法触发了

[zyAndroid]

我司在用celery，还不错

[BigZ]

建议你用mysql做，定时执行只需要加个crontab 脚本
简单可靠

[keakon]

@BigZ crontab是重复执行的啊，我只需要执行一次。其实就是想设置一个时间，把mysql里的过期数据更新一下，但是又不适合定期更新。

[7gong]

@est 期待

[reorx]

@est 但它并不是最适合的。