准备工作
服务器环境:
主机名 系统版本 IP地址
Hbase-1(主) Centos7.6 172.19.0.127
Hbase-2(从) Centos7.6 172.19.0.126
Hbase-3(从) Centos7.6 172.19.0.125
软件版本:
软件名 版本号
hadoop 2.7.7
zookeeper 3.4.14
hbase 2.1.4
Jdk 1.8.0_144

环境初始化
因为我使用的是阿里云的ECS服务器,且在VPC网络模式内,所以防火墙、SELinux默认已经关闭,我这里不在列举。
当前使用root用户进行部署:
以下各节点操作:

echo “172.19.0.127 hbase-1” > /etc/hosts

echo “172.19.0.126 hbase-2” >> /etc/hosts

echo “172.19.0.125 hbase-3” >> /etc/hosts

cd ~/.ssh

ssh-****** -t rsa

cat id_rsa.pub > authorized_keys

scp authorized_keys hbase-2:~/.ssh

scp authorized_keys hbase-3:~/.ssh

免登各个服务器配置后,将免登信息集中分发给集群服务器。

hostname hbase-1

hostname hbase-2

hostname hbase-3

scp /etc/hos ts hbase-2:/etc/

scp /etc/hosts hbase-3:/etc/

vim /etc/profile

Hadoop集群

source /etc/profile

scp /etc/profile hbase-2:/etc/

scp /etc/profile hbase-3:/etc/

软件包下载:
软件包下载这里不做列举。

安装hadoop集群
创建支持目录

mkdir /data/hadoop-2.7.7/dfs –p

mkdir /data/hadoop-2.7.7/tmp

mkdir /data/hadoop-2.7.7/var

mkdir /data/hadoop-2.7.7/dfs/data

mkdir /data/hadoop-2.7.7/dfs/name

cd /data

tar –zxvf hadoop-2.7.7.tar.gz

cd /data/hadoop-2.7.7/etc/hadoop

vim core-site.xml

Hadoop集群

vim hadoop-env.sh

Hadoop集群

vim hdfs-site.xml

Hadoop集群

vim mapred-site.xml

Hadoop集群

vim yarn-site.xml

Hadoop集群

vim slaves

Hadoop集群

cd /data

zip hadoop-2.7.7zip hadoop-2.7.7/*

scp hadoop-2.7.7zip hbase-2:/data/

scp hadoop-2.7.7zip hbase-3:/data/

ssh hbase-2 “unzip -o /data/hadoop-2.7.7zip”

ssh hbase-3 “unzip -o /data/hadoop-2.7.7zip”

启动Hadoop服务

hadoop namenode -format

start-all.sh

jps

Hadoop集群
我这里是已经启动了zk、hbase了,所以要去掉3个进程。

ssh hbase-2 “jps”

ssh hbase-3 “jps”

安装zookeeper服务
创建支持目录

mkdir /data/zookeeper-3.4.14/data/zkData –p

vim zoo.cfg

echo “1” > /data/zookeeper-3.4.14/data/zkData/myid

#chmod 777 /data/zookeeper-3.4.14/data/zkData/myid

ssh hbase-2 “echo “2” > /data/zookeeper-3.4.14/data/zkData/myid”

ssh hbase-2 “chmod 777 /data/zookeeper-3.4.14/data/zkData/myid”

ssh hbase-3 “echo “3” > /data/zookeeper-3.4.14/data/zkData/myid”

ssh hbase-3 “chmod 777 /data/zookeeper-3.4.14/data/zkData/myid”

启动zookeeper服务

/data/zookeeper-3.4.14/bin/zkServer.sh start

ssh hbase-2 “/data/zookeeper-3.4.14/bin/zkServer.sh start”

ssh hbase-3 “/data/zookeeper-3.4.14/bin/zkServer.sh start”

/data/zookeeper-3.4.14/bin/zkServer.sh status

ssh hbase-2 “/data/zookeeper-3.4.14/bin/zkServer.sh status”

ssh hbase-3 “/data/zookeeper-3.4.14/bin/zkServer.sh status”

如果是1leader、2follower则证明集群启动成功。

验证Hadoop集群
使用浏览器:
http://MASTER_IP:50070/dfshealth.html#tab-overview

在这个里面可以看到DFS的信息,如当前集群的hdfs容量等。
到这里hadoop集群算是完成了。

相关文章:

  • 2021-09-19
  • 2021-11-05
  • 2021-11-21
  • 2022-12-23
  • 2021-05-25
  • 2021-11-04
  • 2021-07-27
  • 2022-12-23
猜你喜欢
  • 2021-08-14
  • 2021-08-29
  • 2021-12-06
  • 2022-12-23
  • 2021-09-22
  • 2021-05-19
  • 2021-11-06
相关资源
相似解决方案