咨询一下各位,大家都用什么调度工具

2021-03-30 09:51:58 +08:00
 heavyrainn
最近在做数据平台的项目,作业很多,作业之间的依赖也很复杂,所以需要一款好用且开源的调度工具,烦请各位推荐一下,有什么好用的作业调度工具,谢谢大家
3563 次点击
所在节点    程序员
9 条回复
cco
2021-03-30 10:34:18 +08:00
Oozie,或者自研。当然也有开源的,多少都得二次开发。
resurgamforever
2021-03-30 10:36:41 +08:00
Dolphin Scheduler (国产)
Azkaban
Schedulis (国产)
liprais
2021-03-30 10:40:18 +08:00
airflow
v218ex
2021-03-30 11:03:12 +08:00
airflow
jiezhi
2021-03-30 11:05:16 +08:00
Oozie+Hue

不过最近准备切到 Dolphin 了
hantsy
2021-03-30 11:36:33 +08:00
看不懂,只在国内看到过作业调度这个词。

从描述看,如果是我,一些任务,之类的,肯定用 Spring Batch 或者 Java EE/JakartaEE Batch 规范( Spring Batch 也支持这个规范)去定义任务了。
zuston
2021-03-30 13:29:36 +08:00
Azkaban 吧 ,社区还挺活跃的。且是大数据相关的
forbxy
2021-03-30 14:25:47 +08:00
airflow+1
tedzhou1221
2021-03-31 08:33:21 +08:00
前公司用 azkaban


@hantsy 你说的是代码层面的,他们说的是组件层面的。但我看很多项目都直接用任务调度框架,例如 XXL-job

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/766384

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX