使用 oozie 操作执行 spark sql 作业的问题答案

【问题标题】：Issue with executing spark sql job using oozie action使用 oozie 操作执行 spark sql 作业的问题
【发布时间】：2018-12-24 01:14:31
【问题描述】：

遇到一个奇怪的问题，尝试使用oozie action 执行spark-sql(Spark2) 作业，但执行的行为很奇怪，有时它执行得很好，但有时它会永远处于“Running”状态，on检查日志有以下问题。

WARN  org.apache.spark.scheduler.cluster.YarnClusterScheduler`  - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

奇怪的是我们已经提供了足够的资源，从spark环境变量和集群资源下也可以看出这一点（集群有足够的核心和RAM）。

<spark-opts>--executor-memory 10G --num-executors 7 --executor-cores 3 --driver-memory 8G --driver-cores 2</spark-opts>

有时使用相同的配置也可以正常执行。我们错过了什么吗？

【问题讨论】：

使用 spark2-submit 从具有相同配置属性的控制台运行相同的代码。

标签： apache-spark-sql hadoop-yarn oozie apache-spark-2.2

【解决方案1】：

问题与 jar 冲突有关，以下是识别相同问题的建议。 a) 检查 maven 依赖树以确保没有传递依赖冲突。 b) 在 spark 作业运行时，使用 Spark UI 检查正在使用的环境变量。 c) 解决冲突并运行 maven clean package。

【讨论】：