V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
zhuanggu
V2EX  ›  问与答

你们公司的调度系统用 Azkaban 的多还是 airflow

  •  
  •   zhuanggu · 2018-12-01 12:02:15 +08:00 · 5548 次点击
    这是一个创建于 2218 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题。开源的大概就这两个比较常见了吧。

    我们有一段时间用自研的调度系统,但是需要专门的开发成本。

    4 条回复    2019-10-08 17:50:50 +08:00
    monsterxx03
        1
    monsterxx03  
       2018-12-01 12:13:04 +08:00
    用过 airflow, 但后来发现内部 task 的依赖关系没那么复杂, 也没分布式和可视化的需求, 想维护成本少点, 最后还是自己写了个简单的. 业务复杂的话 airflow 挺够用的.
    wibile
        2
    wibile  
       2018-12-01 12:39:48 +08:00
    多节点 airflow 好一些,单节点 azkaban 更方便。
    airflow 有点重,beat 那块很占 cpu,时间调大效果也不理想。azkaba solo 模式很方便,多节点模式看不到下面节点状态,slave 监听端口配置比较坑。不是还有个 go 版本的 cron 吗?
    zhuanggu
        3
    zhuanggu  
    OP
       2018-12-01 20:08:23 +08:00
    之前用 python 写过调度,不过没有做成 web 界面话配置。
    aitaii
        4
    aitaii  
       2019-10-08 17:50:50 +08:00
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5393 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 09:03 · PVG 17:03 · LAX 01:03 · JFK 04:03
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.