Spark 任务运行监控工具

[ufo22940268]

想问下, mac 上有没有 spark 任务运行监控工具, 比如像 ccmenu 这种,可以在 mac 上不需要打开浏览器,也能实时监控任务运行状况的.

[Nitromethane]

没有~

[tinybaby365]

写个 shell
apps=`yarn application -list 2>/dev/null|grep application_|awk '{ print $2 }'`
配合 mac 的 say 命令，通过喇叭报警； curl 调用 pushover 手机报警

[ufo22940268]

@tinybaby365 因为是要监控服务器上的任务运行情况,所以这种方法不适合我

[CallFold]

yarn 的 restful 接口:
https://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html

[kex0916]

mac 上没有专门的 spark 任务监控工具
但是 spark 自身提供了一套 REST API，可以监控 application、executor、job、task 等状态，http://spark.apache.org/docs/latest/monitoring.html#rest-api，可以从这方面入手。

[WendellSun]

@kex0916 流弊