Spark On Yarn的安装和使用

在公司一直使用ambari+hdp安装的spark2，但是这两天他们软件搬家，用不了，于是在自己的虚拟机上安装了一套用于测试一些小数据，之前安装的spark是standalone模式，所以想安装一套on yarn模式的，但是网上全都在乱写，明明master+worker是standalone的还一本正经说是 spark on yarn

安装scala

这是我安装的（忽略掉已经装好的spark，它是standalone模式的）

毕竟都到安装spark了，所以相信之前的都已经装好了，所以直接从安装scala开始
下载https://www.scala-lang.org/download/2.11.8.html
解压：tar -zxvf scala-2.11.8.tgz -C /opt/module
配置环境变量：vim ~/.bashrc
export SCALA_HOME=/opt/module/scala
export PATH=$SCALA_HOME/bin:$SCALAH​OME/bin:PATH

生效：source ~/.brashrc

Spark下载

下载：http://spark.apache.org/downloads.html
解压：tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz
重命名：mv spark-2.4.4-bin-hadoop2.7 spark2
配置环境变量：vim ~/.bashrc

生效：source ~/.bashrc
进入spark的conf目录下 cp spark-env.sh.template spark-env.sh
vim spark-env.sh
export HADOOP_HOME=${HADOOP_HOME:-/opt/module/hadoop} export HADOOP_CONF_DIR=$HADOOPH​OME:−/opt/module/hadoopexportHADOOPC​ONFD​IR={HADOOP_CONF_DIR:-/opt/module/etc/hadoop}
export JAVA_HOME=/opt/module/jdk

因为是运行在yarn上的安装一台客户端就够了
启动hadoop相关
输入spark-shell --master yarn-client
出现以下就成功了
Welcome to
____ __
/ / ___ / /
\ / _ / _ `/ __/ '/
// .__/_,// //_\ version 2.4.4
//

Using Scala version 2.11.8 (Java HotSpot™ 64-Bit Server VM, Java 1.8.0_112)
Type in expressions to have them evaluated.
Type :help for more information.