Spark YARN 集群模式收到此错误“无法找到或加载主类 org.apache.spark.deploy.yarn.ApplicationMaster”答案

【问题标题】：Spark YARN Cluster mode get this error "Could not find or load main class org.apache.spark.deploy.yarn.ApplicationMaster"Spark YARN 集群模式收到此错误“无法找到或加载主类 org.apache.spark.deploy.yarn.ApplicationMaster”
【发布时间】：2016-11-01 05:34:03
【问题描述】：

我的作业在 YARN 客户端模式下运行良好，但在集群模式下我收到以下错误。

日志内容：错误：无法找到或加载主类 org.apache.spark.deploy.yarn.ApplicationMaster LogType 结束：stderr

我没有设置 spark.yarn.jars 或 spark.yarn.archive。然而，在跟踪中，我确实看到了 spark-yarn jar 被上传。这里需要什么额外的设置吗？

16/11/01 10:49:49 INFO yarn.Client：上传资源文件：/etc/security/keytabs/spark.keytab -> hdfs://beixvz579:8020/user/sifsuser/。 sparkStaging/application_1477668405073_0026/spark.keytab 16/11/01 10:49:50 INFO yarn.Client：上传资源文件：/home/sifsuser/spark200/jars/spark-yarn_2.11-2.0.0.jar -> hdfs://beixvz579:8020/user /sifsuser/.sparkStaging/application_1477668405073_0026/spark-yarn_2.11-2.0.0.jar 16/11/01 10:49:50 INFO yarn.Client：上传资源文件：/home/sifsuser/lib/sparkprogs.jar -> hdfs://beixvz579:8020/user/sifsuser/.sparkStaging/application_1477668405073_0026/sparkprogs。罐子

【问题讨论】：

标签： apache-spark

【解决方案1】：

jar 是 spark-yarn_2.11-2.4.0.jar（我的版本），位置是 $SPARK_HOME/jars/

第一步：（将其添加到 spark-default.conf 中）

 spark.yarn.jars hdfs://hadoop-node1:9000/spark/jars/*

第二步：

 hadoop fs -put $SPARK_HOME/jars/*  hdfs://hadoop-node1:9000/spark/jars/

【讨论】：

我在cdh中配置spark.yarn.jars=hdfs:///tmp/spark/*并部署它，但是本地文件/etc/spark/conf/spark-defaults.conf spark.yarn.jars没有改变，默认值spark.yarn.jars=local:/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/spark/jars/*,local:/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/spark/hive/*，如何处理

【解决方案2】：

经过大量调试，我发现这个错误是由于缺少ApplicationMaster所依赖的类而引发的。就我而言，它是 AM 类所依赖的日志记录 jar 之一。添加额外的 jar 后，我现在可以提交作业了。

【讨论】：

你能详细说明你需要哪个罐子。有同样的问题。
这里也一样。哪个罐子？
有人知道是哪个罐子吗？