想用 Python 做个计划任务管理、调度的系统,有哪些成熟的开源产品或者模块?

2017-02-20 15:07:19 +08:00
 Hasal
希望能够支持精确到秒级的计划任务设定,比如将计划任务持久化到数据库中,然后这个程序可以从数据库中读取出计划任务;在任务没有开始执行之前,可以停止或者修改任务的执行时间;这两天看了下 Celery ,感觉 Celery 的计划任务都是要写到代码里的,好像不支持从数据库中读取。
8642 次点击
所在节点    Python
12 条回复
herozhang
2017-02-20 15:37:05 +08:00
crontab 满足需求吗
hmlbr
2017-02-20 17:33:10 +08:00
autotest 吧,不过本质上是用来调度测试任务的,后台用的 mysql , python 写的 scheduler (调度器),你可以参考下他的调度器和数据库交互的方法
SlipStupig
2017-02-20 17:34:47 +08:00
pycorntab
clino
2017-02-20 17:38:10 +08:00
buildbot,不过 buildbot 只能用配置文件,不能从 web 上修改

或者你用非 py 的 jenkins,不过这个也不是记到数据库,这个是记到文件里
facert
2017-02-20 17:39:02 +08:00
apscheduler
liprais
2017-02-20 17:39:52 +08:00
Luigi
sujin190
2017-02-20 17:55:38 +08:00
为公司做了一个定时调度系统,使用 linux 系统计时器精确到秒级定时,只是定时和超时两种计划方式,支持未到时间之前修改,使用 redis 做后端持久化存储,在每天处理的计划任务差不多数百万这样子能稳定运行,本来想搞一搞看看能不能开源,做了一半又撂那了。。。
cszhiyue
2017-02-20 18:13:20 +08:00
junnplus
2017-02-20 21:52:11 +08:00
apscheduler 支持持久化到数据库
derekdomo
2017-02-21 02:28:24 +08:00
airflow
lgpqdwjh
2017-02-21 09:58:58 +08:00
我之前用 apscheduler 扩展了一个, 不过这个性能并不是很好
Hasal
2017-02-21 15:49:10 +08:00
@cszhiyue incubator-airflow 这个看了下,感觉不错,准备研究一下

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/341776

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX