简单来说,Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提

高集群管理的效率。

功能

1)   管理:对集群进行管理,如添加、删除节点等操作。

2)   监控:监控集群的健康情况,对设置的各种指标和系统运行情况进行全面监控。

3)   诊断:对集群出现的问题进行诊断,对出现的问题给出建议解决方案。

4)   集成:多组件进行整合。

架构

CDH| Cloudera Manager的安装

1)   Server:负责软件安装、配置,启动和停止服务,管理服务运行的群集。核心

2)   Agent:安装在每台主机上。负责启动和停止进程,配置,监控主机。

3)   Management Service:由一组执行各种监控,警报和报告功能角色的服务。图表的生成和管理

4)   Database:存储配置和监视信息。

5)   Cloudera Repository:软件由Cloudera 管理分布存储库。(有点类似Maven的中心仓库;在线安装(从中心仓库拉取)和离线安装(离线库)

6)   Clients:是用于与服务器进行交互的接口(API和Admin Console)

2. 准备安装环境

主节点10g /16G
其他节点2G /4G
其他节点2G /4G
硬盘情况:
[root@hadoop101 ~]# df -h

1. SSH免密登录

配置hadoop101对hadoop101、hadoop102、hadoop103三台服务器免密登录。CDH服务开启与关闭是通过server和agent来完成的,所以这里不需要配置SSH免密登录,但是为了我们分发文件方便,在这里我

们也配置SSH。

1)生成公钥和私钥:

[root@hadoop101 .ssh]$ ssh-keygen -t rsa

然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)

2)将公钥拷贝到要免密登录的目标机器上

[root@hadoop101 .ssh]$ ssh-copy-id hadoop101
[root@hadoop101 .ssh]$ ssh-copy-id hadoop102
[root@hadoop101 .ssh]$ ssh-copy-id hadoop103

3)重复1和2的操作,配置hadoop102对hadoop101、hadoop102、hadoop103三台服务器免密登录。

2.  集群同步脚本

1)在/root目录下创建bin目录,并在bin目录下创建文件xsync,文件内容如下:

[root@hadoop101 ~]$ mkdir bin
[root@hadoop101 ~]$ cd bin/
[root@hadoop101 bin]$ vi xsync
CDH| Cloudera Manager的安装
#!/bin/bash

#1 获取输入参数个数,如果没有参数,直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`
 
#5 循环
for((host=103; host<105; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -av $pdir/$fname $user@hadoop$host:$pdir
done
View Code

相关文章:

  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-12-10
  • 2021-06-20
  • 2021-11-08
  • 2022-12-23
  • 2021-06-27
猜你喜欢
  • 2021-10-25
  • 2021-11-04
  • 2022-01-05
  • 2022-12-23
  • 2021-09-19
  • 2021-06-16
相关资源
相似解决方案