spark 在 cluster deploy mode 情况下, 怎么处理 job 之间的依赖

2018-12-18 09:31:37 +08:00
 ufo22940268

比如用下面的方式提交任务:

spark-submit --deploy cluster x.y.z a.jar

提交任务完了之后,程序就回终止返回.然后让 driver 在 cluster 上继续执行 Job.

问题

假如说希望Job BJob A执行完成之后执行,并且依然用cluster deploy mode来提交任务,该如何做到呢?

2728 次点击
所在节点    编程
1 条回复
B2
2018-12-18 15:33:34 +08:00
你将这两个 job 合成一个大的 job,提交一次不就可以了吗?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/518487

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX