在 Hadoop Yarn 上安装 Spark答案

【问题标题】：Spark installation on Hadoop Yarn在 Hadoop Yarn 上安装 Spark
【发布时间】：2015-10-28 17:06:08
【问题描述】：

请有人帮助我，我正在尝试在 Haoop Yarn 上安装 spark，我收到此错误：

org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master.
        at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.waitForApplication(YarnClientSchedulerBackend.scala:113)
        at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:59)
        at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:141)
        at org.apache.spark.SparkContext.<init>(SparkContext.scala:379)
java.lang.NullPointerException
    at org.apache.spark.sql.SQLContext.<init>(SQLContext.scala:141)
    at org.apache.spark.sql.hive.HiveContext.<init>(HiveContext.scala:49)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:526)

hadoop 守护进程是：

4064 SecondaryNameNode
3478 NameNode
4224 ResourceManager
4480 NodeManager
3727 DataNode
6279 Jps

和 bash 文件：

export JAVA_HOME=/home/user/hadoop-two/jdk1.7.0_71
export HADOOP_INSTALL=/home/user/hadoop-two/hadoop-2.6.0
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
export HADOOP_CONF_DIR=$HADOOP_INSTALL/etc/hadoop
export YARN_CONF_DIR=$HADOOP_INSTALL/etc/hadoop
export SPARK_HOME=/home/user/hadoop-two/spark-1.4.0

【问题讨论】：

如果有人遇到同样的问题，请告诉我..我终于解决了这个问题
是的，请告诉我们。
我在下面添加了答案，请查看并告诉我是否有任何问题。
此错误：“Yarn 应用程序已结束！它可能已被杀死或无法启动应用程序主程序。”不是源错误。您必须查看纱线日志才能找出 YARN 无法运行您的应用程序的原因。
是的..问题是我没有在 spark-env.sh 文件中设置 JAVA 和 HADOOP_CONF_DIR

标签： bash hadoop apache-spark hadoop-yarn

【解决方案1】：

安装 Spark，并配置上面的环境变量。在conf/spark-env.sh文件中配置JAVA_HOME and HADOOP_CONF_DIR：

export HADOOP_CONF_DIR=/home/user/hadoop-2.7.1/etc/hadoop
export JAVA_HOME=/home/user/jdk1.8.0_60

并在 spark Conf 目录中定义从站（放置从站的 dns 名称）：

conf/slaves

并使用以下命令在 YARN 上启动 spark：

bin/spark-shell --master yarn-client

这就是你做的！！！！

【讨论】：