Centos7安装部署Hadoop环境
Hadoop2.7.7部署
一、VMware14安装centos7（过程略）
二、配置Linux
1.关闭防火墙：
2.查看当前java版本，为openjdk版的
3.删除openjdk
命令 rpm -qa | grep java 查找java相关文件
命令：rpm -e –nodeps 删除系统自带的java
4.安装jdk
下载官方1.8jdk
命令rpm -ivh+文件名安装jdk
安装完成
4.下载hadoop：
官网下载并将下载好的hadoop上传至虚拟机
5.继续创建两台虚拟机
使用虚拟机的克隆功能将cMaster克隆两份分别为Slave0，Slave1
克隆完成
6.分别修改主机名 vim /etc/hostname
7.添加域名映射：
- 命令ifconfig查看三个虚拟机的ip地址
- 命令：vim /etc/hosts
- 添加三台机器的域名映射
分别ping 不同的机器
Ping通完成
三、安装hadooop
1.解压hadoop
命令：tar -zxvf hadoop-2.7.7.tar.gz
分别在三个机器上解压hadoop
2.配置hadoop（三台机器都要）
2.1 编辑文件
vim /home/krysent/hadoop-2.7.7/etc/hadoop/hadoop-env.sh
添加 java路径
2.2 在/home/krysent/hadoop-2.7.7/etc/hadoop/目录下的
core-site.xml下的configuration标签中添加：
<property>
<name>hadoop.tmp.dir</name>
<value>/home/krysent/cloudData</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://cMaster:8020</value>
</property>
2.3 在/home/krysent/hadoop-2.7.7/etc/hadoop/目录下的
yarn-site.xml下的configuration标签中添加：
<property>
<name>yarn.resourcemanager.hostname</name>
<value>cMaster</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
2.4 将/home/krysent/hadoop-2.7.7/etc/hadoop/目录下的mapred-site-.xml.template重命名为mapred-site-.xml并在configuration标签中添加：
<property>
<name>mapreduce.farmework.name</name>
<value>yarn</value>
</property>
四、启动hadoop
1.主节点cMaster格式化：/home/krysent/hadoop-2.7.7/bin/hdfs namenode -format
2.主节点cMaster启动存储主服务namenode和资源管理主服务resourcemanager:
/home/krysent/hadoop-2.7.7/sbin/hadoop-daemon.sh start namenode
/home/krysent/hadoop-2.7.7/sbin/yarn-daemon.sh start resourcemanager
3.从节点上启动存储从服务datanode和资源管理从服务nodemanager（Slave0和Slave1）：
/home/krysent/hadoop-2.7.7/sbin/hadoop-daemon.sh start datanode; /home/krysent/hadoop-2.7.7/sbin/yarn-daemon.sh start nodemanager
五、测试hadoop：
火狐查看：
六、使用
- 集群里创建in目录
/home/krysent/hadoop-2.7.7/bin/hdfs dfs -mkdir /in
- 将本地文件上传至hdfs
/home/krysent/bin/hdfs dfs -put /home/krysent/hadoop-2.7.7/etc/hadoop/* /in
- 使用示例程序WordCount计算数据
火狐查看：