Hive 报错求助

2021-07-29 16:35:55 +08:00
 CaptainD

我在进行聚合查询时 hive 报错,无论是 hiveserver 2 的方式还是直接 hive 命令行查询都是这样,检查了 hive 日志发现重要的错误是这个

正常的查询是可以的,应该就是出现在聚合查询的 shuffle 阶段出了问题

Container launch failed for container_1627546749978_0001_01_000005 : org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist

我查了网上的解决方式一般是修改 yarn-site.xml 在重启 Hadoop,但是我的 yarn-site 应该没问题

<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>

请大神帮忙~

653 次点击
所在节点    问与答
3 条回复
CaptainD
2021-07-29 16:40:56 +08:00
补充一下,在 hiveserver2 的界面,stage 的 map 和 reduce 阶段都是 100%的,但是 Ended Job = XXX with errors

hive 版本:Hive 3.1.2
hadoop 版本:Hadoop 3.2.1
JKeita
2021-07-29 16:58:42 +08:00
用 spark 会不会好点
lbingl
2021-07-29 18:59:25 +08:00
重新格式化一下节点试试?或者 Hadoop 是不是在安全模式运行?
或者有可能是 Hive 和 Hadoop 版本不兼容(有时候官网的表格上说兼容,但是有的功能还是有 bug,我真遇到过这种情况,Hadoop 3.3.0 降级之后 bug 就没了)
Hadoop,Hive,Spark,Yarn,HBase,这几个真是我用过的各种程序里报错最多的一群贵物了。建议上云,用 Databricks 之类的平台省事好多。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/792508

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX