基于Hadoop集群的Spark集群搭建
一. 单机版Spark搭建
(1)将下载下来的软件包拉至集群中(主节点上)
(2)解压至指定目录
(3)将解压下的文件移至某个特定目录下并查看
(4)修改环境变量
(5)使环境变量生效并进入scala命令行测试；
(6）解压scala压缩包并放置指定目录；
(7)添加环境变量
(8)生效环境变量并测试spark(source .bash_profile)
(9)单机版网页spark测试(主机地址为你当前虚拟机地址，在启动spark的时候你可以看到)
二. 集群版Spark搭建
(1)修改spark配置文件(注意目录)
(2)修改配置文件(加入你集群的主机名)
(3)生成配置文件并修改配置文件(jdk为你本机安装位置)
(4)向集群中其他主机发送
(5)启动Hadoop集群(start-all.sh),启动spark集群(在spark目录下的sbin目录下启动)(主节点启动有Master，从节点为Worker)
(6)查看端口
(7)Web端访问(此时你输入你的"主节点IP+7077">是访问不到的)，需要添加本地映射端口
至此，Spark集群搭建完毕。