Spark 程序提交到 Yarn 集群执行 这个日志怎么收集？

2022-11-08 10:41:10 +08:00
 gzk329

提交模式可以分为 yarn-client 和 yarn-cluster 两种
日志可以分为 driver 日志和 executor 日志
yarn-client 模式 是同步的 可以收集这两种
yarn-cluster 模式 是异步的 等程序完收集聚合日志 那这个聚合日志是包含了 driver 日志和 executor 日志的吗？我看好像是包含了？ 如果没包含 该怎么获取日志？

755 次点击
所在节点    程序员
2 条回复
liprais
2022-11-08 10:48:54 +08:00
driver 也是个 container 啊
container 的日志跑完了都收集了
ijk0
2022-11-08 12:06:15 +08:00
用 yarn logs 命令拿对应 applicationId 的日志

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/893511

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX