springboot 中调用了 spark 方法,SparkConf 中以 local[*] 启动可以正常运行,但是设置成 yarn-client 模式就会报错,项目是直接启动的 java -jar,有大佬这样操作过吗?
1
luckylo 2019-06-28 07:03:59 +08:00 via Android
我不懂,但是给点建议,如果有报错,建议你贴出报错信息。而且 Google 报错信息,应该会有内容。
|
2
endershadow 2019-06-28 09:09:05 +08:00
你 yarn 中 其他机器上没有你本机上有的某个 jar 包
|
3
yeboo OP @luckylo 我这个问题是属于我知道问题在哪:配置文件设置的不对,但是我不知道怎么去配置。官网和网上几乎所有的配置给出的都是我现在采用的配置,都是 demo 级别的,无法在生产使用。后来找了一个偏门的博客借鉴了下,解决了。。。无论如何,谢谢你了。
|
4
yeboo OP @endershadow 是配置文件的问题,已解决,楼下放解决方案。
|
5
yeboo OP 1. 配置参考这个链接: https://github.com/swjuyhz/spring-boot-spark-streaming-kafka-sample ;
2. 启动后报错: Initial job has not accepted any resources 参考 https://stackoverflow.com/questions/38118572/initial-job-has-not-accepted-any-resources-check-your-cluster-ui-to-ensure-that 解决; 3. 接下来就可以愉快地以 java -jar 的方式启动 springboot 程序,用集群方式去执行了。。 |