集群配置

集群配置

Hadoop集群部署概图

1. 修改各个机器的hostname

   为了方便，重命名各机器为图中各个hostname，后面配置就可以使用hostname而不是IP地址。
   使用root用户在各个机器上执行（各个机器序号需要改变）
   hostname node01#修改完所有机器的hostname后，将IP和hostname的对应关系写到所有机器的 /etc/hosts 文件中

2. 在各个机器上添加hadoop用户，并修改密码
   后面集群的配置和启动都用hadoop来操作
   useradd hadoop #添加hadoop用户passwd hadoop #修改hadoop用户密码

3. 配置各个机器间相互免密登陆
   su hadoop #切换到hadoop用户，后面的命令，没有特殊说明，都是使用hadoop用户操作
   ssh-****** -t -rsa #生成**，一直按回车即可
   ssh-copy-id -i node01 #将生成的公钥copy到所有集群上01-05，包括生成**的本机。即node01 拷贝到node01-05, node02 拷贝到node01-node05 以此类推

4. 创建目录用于保存搭建集群相关的代码和工具
   cd ~ #到hadoop home目录
   mkdir apps # 创建apps目录，用于存放于搭建集群相关的代码和工具。集群所有机器都需要创建该目录

5. 安装JDK
   将下载好的JDK copy到刚创建的apps目录下
   tar -zxvf jdk-8u121-linux-x64.tar.gz #解压jdk
   su root #下面几步的操作需要root权限
   ln -s /home/hadoop/app/jdk1.8.0_121 /usr/local/jdk #创建jdk的软连接，所有机器都是相同的目录，为了操作和配置方便
   vim /etc/profile # 打开该文件并在文末添加：
   export JAVA_HOME=/usr/local/jdk ，然后保存文件source /etc/profile #重新加载环境配置文件

su hadoop #切换回hadoopscp -r /home/hadoop/app/jdk1.8.0_121 hadoop@node02:/home/hadoop/app #将jdk拷贝到集群中其他机器上，然后重复上面的安装JDK步骤java -version #在集群中任一台机器上执行，有如下信息，说明JDK安装成功