目录
1.上传资源并解压
2.配置环境变量
vim /etc/profile
增加export SPARK_HOME=/usr/local/soft/spark-1.6.3-bin-hadoop2.6/
和在path里面加:$SPARK_HOME/bin
3.修改配置
在cd /usr/local/soft/spark-1.6.3-bin-hadoop2.6/conf 里面
有两个样例文件修改名字在修改配置
cp spark-env.sh.template spark-env.sh
cp slaves.template slaves
vim slaves 增加从节点
node1
node2
vim spark-env.sh 增加
export SPARK_MASTER_IP=master
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=1g
export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
export HADOOP_CONF_DIR=/usr/local/soft/hadoop-2.6.0/etc/hadoop
4.复制到其他节点
在cd /usr/local/soft下执行
scp -r spark-1.6.0-bin-hadoop2.6 node1:`pwd`
scp -r spark-1.6.0-bin-hadoop2.6 node2:`pwd`
5.启动
.在主节点cd /usr/local/soft/spark-1.6.3-bin-hadoop2/sbin下执行命令
start-all.sh
可以访问master:8080
6.两种模式
standalone client模式 日志在本地输出，一班用于上线前测试(bin/下执行)
spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 512m --total-executor-cores 1 ./lib/spark-examples-1.6.3-hadoop2.6.0.jar 100
standalone cluster模式 上线使用，不会再本地打印日志
spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --driver-memory 512m --deploy-mode cluster --supervise --executor-memory 512M --total-executor-cores 1 ./lib/spark-examples-1.6.3-hadoop2.6.0.jar 100
7.整合yarn
停止yarn
stop-yarn.sh
在cd /usr/local/soft/hadoop-2.6.0/etc/hadoop里修改配置
vim yarn-site.xml
加入
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
分配到其他节点
scp -r yarn-site.xml node1:`pwd`
scp -r yarn-site.xml node2:`pwd`
启动start-yarn.sh
8.yarn的两个模式
client模式 日志在本地输出，一般用于上线前测试
spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client --executor-memory 512M --num-executors 2 ./lib/spark-examples-1.6.0-hadoop2.6.0.jar 100
cluster模式 上线使用，不会再本地打印日志 减少io
spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster --executor-memory 512m --num-executors 2 --executor-cores 1 ./lib/spark-examples-1.6.3-hadoop2.6.0.jar 100
获取yarn程序执行日志 执行成功之后才能获取到
yarn logs -applicationId application_1560967444524_0003