将 Hive 引擎从 mr 设置为 Spark 后“失败：执行错误，返回代码 3”答案

【问题标题】："FAILED: Execution Error, return code 3" after setting Hive engine from mr to Spark将 Hive 引擎从 mr 设置为 Spark 后“失败：执行错误，返回代码 3”
【发布时间】：2018-09-13 21:47:10
【问题描述】：

我正在尝试在我的 Hive 查询中使用 Spark 引擎。
这是一个旧查询，我不想将整个代码转换为 spark 作业。

但是当我运行查询时，它给出了以下错误：

状态：失败
FAILED：执行错误，从 org.apache.hadoop.hive.ql.exec.spark.SparkTask 返回代码 3

我唯一改变的是执行引擎：

设置 hive.execution.engine=spark;

上述更改适用于其他类似查询。所以我认为这不是配置问题...
还是我不知道？

以前有人遇到过这个问题吗？

【问题讨论】：

标签： apache-spark hive hiveql

【解决方案1】：

检查作业的日志以查看真正的错误。返回码 1、2 和 3 都是 MR 和 Spark 中的一般错误。

【讨论】：

【解决方案2】：

使用直线的详细模式来运行查询。检查查询异常日志、hiveserver 日志、spark 日志和 spark webui worker 日志（这通常具有确切的堆栈跟踪）。尝试在本地模式下运行 spark。

你使用什么版本的 hive、spark、hadoop？

【讨论】：