简单来说,Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提
高集群管理的效率。
功能
1) 管理:对集群进行管理,如添加、删除节点等操作。
2) 监控:监控集群的健康情况,对设置的各种指标和系统运行情况进行全面监控。
3) 诊断:对集群出现的问题进行诊断,对出现的问题给出建议解决方案。
4) 集成:多组件进行整合。
架构
1) Server:负责软件安装、配置,启动和停止服务,管理服务运行的群集。核心
2) Agent:安装在每台主机上。负责启动和停止进程,配置,监控主机。
3) Management Service:由一组执行各种监控,警报和报告功能角色的服务。图表的生成和管理
4) Database:存储配置和监视信息。
5) Cloudera Repository:软件由Cloudera 管理分布存储库。(有点类似Maven的中心仓库);在线安装(从中心仓库拉取)和离线安装(离线库)
6) Clients:是用于与服务器进行交互的接口(API和Admin Console)
2. 准备安装环境
主节点10g /16G 其他节点2G /4G 其他节点2G /4G 硬盘情况: [root@hadoop101 ~]# df -h
1. SSH免密登录
配置hadoop101对hadoop101、hadoop102、hadoop103三台服务器免密登录。CDH服务开启与关闭是通过server和agent来完成的,所以这里不需要配置SSH免密登录,但是为了我们分发文件方便,在这里我
们也配置SSH。
1)生成公钥和私钥:
[root@hadoop101 .ssh]$ ssh-keygen -t rsa
然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
2)将公钥拷贝到要免密登录的目标机器上
[root@hadoop101 .ssh]$ ssh-copy-id hadoop101 [root@hadoop101 .ssh]$ ssh-copy-id hadoop102 [root@hadoop101 .ssh]$ ssh-copy-id hadoop103
3)重复1和2的操作,配置hadoop102对hadoop101、hadoop102、hadoop103三台服务器免密登录。
2. 集群同步脚本
1)在/root目录下创建bin目录,并在bin目录下创建文件xsync,文件内容如下:
[root@hadoop101 ~]$ mkdir bin [root@hadoop101 ~]$ cd bin/ [root@hadoop101 bin]$ vi xsync
#!/bin/bash #1 获取输入参数个数,如果没有参数,直接退出 pcount=$# if((pcount==0)); then echo no args; exit; fi #2 获取文件名称 p1=$1 fname=`basename $p1` echo fname=$fname #3 获取上级目录到绝对路径 pdir=`cd -P $(dirname $p1); pwd` echo pdir=$pdir #4 获取当前用户名称 user=`whoami` #5 循环 for((host=103; host<105; host++)); do echo ------------------- hadoop$host -------------- rsync -av $pdir/$fname $user@hadoop$host:$pdir done