CM安装部署

CM下载地址

1）CM下载地址：http://archive.cloudera.com/cm5/cm/5/

2）离线库下载地址：http://archive.cloudera.com/cdh5/parcels

CM安装

注：以下所有操作均使用root用户

1）创建/opt/module/cm目录

[root@hadoop102 module]# mkdir –p /opt/module/cm

2）上传cloudera-manager-el6-cm5.12.1_x86_64.tar.gz到hadoop102的/opt/software目录，并解压到/opt/module/cm目录

[root@hadoop102 software]# tar -zxvf cloudera-manager-el6-cm5.12.1_x86_64.tar.gz -C /opt/module/cm

3）分别在hadoop102、hadoop103、hadoop104创建用户cloudera-scm

[root@hadoop102 module]#

useradd \

--system \

--home=/opt/module/cm/cm-5.12.1/run/cloudera-scm-server \

--no-create-home \

--shell=/bin/false \

--comment "Cloudera SCM User" cloudera-scm

 

[root@hadoop103 module]#

useradd \

--system \

--home=/opt/module/cm/cm-5.12.1/run/cloudera-scm-server \

--no-create-home \

--shell=/bin/false \

--comment "Cloudera SCM User" cloudera-scm

 

[root@hadoop104 module]#

useradd \

--system \

--home=/opt/module/cm/cm-5.12.1/run/cloudera-scm-server \

--no-create-home \

--shell=/bin/false \

--comment "Cloudera SCM User" cloudera-scm

参数说明：

--system 创建一个系统账户

--home 指定用户登入时的主目录，替换系统默认值/home/<用户名>

--no-create-home 不要创建用户的主目录

--shell 用户的登录 shell 名

--comment 用户的描述信息

注意：Cloudera Manager默认去找用户cloudera-scm，创建完该用户后，将自动使用此用户。

4）修改CM Agent配置

修改文件/opt/module/cm/cm-5.12.1/etc/cloudera-scm-agent/ config.ini的主机名称

[root@hadoop102 cloudera-scm-agent]# vim /opt/module/cm/cm-5.12.1/etc/cloudera-scm-agent/config.ini

修改主机名称

server_host=hadoop102

5）配置CM的数据库

拷贝mysql-connector-java-5.1.27-bin.jar文件到目录 /usr/share/java/

[root@hadoop102 cm]# mkdir –p /usr/share/java/

[root@hadoop102 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz

 

[root@hadoop102 mysql-libs]# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /usr/share/java/

 

[root@hadoop102 mysql-libs]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar

注意：jar包名称要修改为mysql-connector-java.jar
6）使用CM自带的脚本，在MySQL中创建CM库

[root@hadoop102 cm-5.12.1]#

/opt/module/cm/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop102 -uroot -p000000 --scm-host hadoop102 scm scm scm

参数说明

-h：Database host

-u：Database username

-p：Database Password

--scm-host：SCM server's hostname

7）分发cm

[root@hadoop102 module]# xsync /opt/module/cm

8）创建Parcel-repo

[root@hadoop102 module]# mkdir -p /opt/cloudera/parcel-repo

[root@hadoop102 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

9）拷贝下载文件manifest.json 、CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 、CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel到hadoop102的/opt/cloudera/parcel-repo/目录下

[root@hadoop102 parcel-repo]# ls

CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel  CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1  

manifest.json

10）将CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1：需改名为

CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha

[root@hadoop102 parcel-repo]# mv CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha

11）在hadoop102上创建目录/opt/cloudera/parcels，并修改该目录的所属用户及用户组为cloudera-scm

[root@hadoop102 module]# mkdir -p /opt/cloudera/parcels

[root@hadoop102 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

12）分发/opt/cloudera/

[root@hadoop102 opt]# xsync /opt/cloudera/

启动CM服务

1）启动服务节点：hadoop102

[root@hadoop102 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-server start

Starting cloudera-scm-server:                              [确定]

2）启动工作节点：hadoop102、hadoop103、hadoop104

[root@hadoop102 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent start

 

[root@hadoop103 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent start

 

[root@hadoop104 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent start

注意：启动过程非常慢，Manager启动成功需要等待5分钟左右，过程中会在数据库中创建对应的表需要耗费一些时间。

3）查看被占用则表示安装成功了！！！

[root@hadoop102 cm]# netstat -anp | grep 7180

tcp        0      0 0.0.0.0:7180                0.0.0.0:*                   LISTEN      5498/java

4）访问http://hadoop102:7180，（用户名、密码：admin）

关闭CM服务

1）关闭工作节点：hadoop102、hadoop103、hadoop104

[root@hadoop102 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent stop

Stopping cloudera-scm-agent:                               [确定]

[root@hadoop103 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent stop

Stopping cloudera-scm-agent:                               [确定]

[root@hadoop104 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent stop

Stopping cloudera-scm-agent:                               [确定]

2）关闭服务节点：hadoop102

[root@hadoop102 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-server stop

停止 cloudera-scm-server：                                 [确定]

 CM的集群部署

接受条款和协议

选择免费

指定主机

选择CDH的版本5.12.1

等待下载安装