Spark StackOverFlow 上的 Hive 错误答案

【问题标题】：Hive on Spark StackOverFlow ErrorSpark StackOverFlow 上的 Hive 错误
【发布时间】：2017-09-08 04:59:48
【问题描述】：

我在 CDH 5.10 上的 Spark 上运行 Hive。我得到以下错误。我检查了 YARN 、 Hive 和 Spark 的所有日志，但除了以下错误之外没有任何有用的信息：

作业因阶段失败而中止：阶段 0.0 中的任务 0 失败 4 次，最近一次失败：阶段 0.0 中丢失任务 0.3（TID 4，xxx.local，执行程序 1）：java.lang.StackOverflowError

【问题讨论】：

你可能想看看issues.apache.org/jira/issues/…？ Spark 生成 java.lang.StackOverflowError 存在 19 个问题（6 个仍未解决）。

【解决方案1】：

在执行查询之前设置以下参数：

set spark.executor.extraJavaOptions=-Xss16m;
set hive.execution.engine=spark;

【讨论】：