array(2) { ["docs"]=> array(10) { [0]=> array(10) { ["id"]=> string(3) "428" ["text"]=> string(77) "Visual Studio 2017 单独启动MSDN帮助(Microsoft Help Viewer)的方法" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具,而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(8) "DonetRen" ["tagsname"]=> string(55) "Visual Studio 2017|MSDN帮助|C#程序|.NET|Help Viewer" ["tagsid"]=> string(23) "[401,402,403,"300",404]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511400964" ["_id"]=> string(3) "428" } [1]=> array(10) { ["id"]=> string(3) "427" ["text"]=> string(42) "npm -v;报错 cannot find module "wrapp"" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具,而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(4) "zzty" ["tagsname"]=> string(50) "node.js|npm|cannot find module "wrapp“|node" ["tagsid"]=> string(19) "[398,"239",399,400]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511400760" ["_id"]=> string(3) "427" } [2]=> array(10) { ["id"]=> string(3) "426" ["text"]=> string(54) "说说css中pt、px、em、rem都扮演了什么角色" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具,而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(12) "zhengqiaoyin" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511400640" ["_id"]=> string(3) "426" } [3]=> array(10) { ["id"]=> string(3) "425" ["text"]=> string(83) "深入学习JS执行--创建执行上下文(变量对象,作用域链,this)" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具,而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(7) "Ry-yuan" ["tagsname"]=> string(33) "Javascript|Javascript执行过程" ["tagsid"]=> string(13) "["169","191"]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511399901" ["_id"]=> string(3) "425" } [4]=> array(10) { ["id"]=> string(3) "424" ["text"]=> string(30) "C# 排序技术研究与对比" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具,而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(9) "vveiliang" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(8) ".Net Dev" ["catesid"]=> string(5) "[199]" ["createtime"]=> string(10) "1511399150" ["_id"]=> string(3) "424" } [5]=> array(10) { ["id"]=> string(3) "423" ["text"]=> string(72) "【算法】小白的算法笔记:快速排序算法的编码和优化" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具,而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(9) "penghuwan" ["tagsname"]=> string(6) "算法" ["tagsid"]=> string(7) "["344"]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511398109" ["_id"]=> string(3) "423" } [6]=> array(10) { ["id"]=> string(3) "422" ["text"]=> string(64) "JavaScript数据可视化编程学习(二)Flotr2,雷达图" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具,而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(7) "chengxs" ["tagsname"]=> string(28) "数据可视化|前端学习" ["tagsid"]=> string(9) "[396,397]" ["catesname"]=> string(18) "前端基本知识" ["catesid"]=> string(5) "[198]" ["createtime"]=> string(10) "1511397800" ["_id"]=> string(3) "422" } [7]=> array(10) { ["id"]=> string(3) "421" ["text"]=> string(36) "C#表达式目录树(Expression)" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具,而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(4) "wwym" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(4) ".NET" ["catesid"]=> string(7) "["119"]" ["createtime"]=> string(10) "1511397474" ["_id"]=> string(3) "421" } [8]=> array(10) { ["id"]=> string(3) "420" ["text"]=> string(47) "数据结构 队列_队列实例:事件处理" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具,而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(7) "idreamo" ["tagsname"]=> string(40) "C语言|数据结构|队列|事件处理" ["tagsid"]=> string(23) "["246","247","248",395]" ["catesname"]=> string(12) "数据结构" ["catesid"]=> string(7) "["133"]" ["createtime"]=> string(10) "1511397279" ["_id"]=> string(3) "420" } [9]=> array(10) { ["id"]=> string(3) "419" ["text"]=> string(47) "久等了,博客园官方Android客户端发布" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具,而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(3) "cmt" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511396549" ["_id"]=> string(3) "419" } } ["count"]=> int(200) } 222 搭建Cloudera Manager环境管理大数据集群 - 爱码网

       本文主要介绍如何搭建Cloudera Manager环境来管理大数据集群。这里注重的是搭建的过程,所以小编没用公司的服务器,而是在自己电脑上建了三台虚拟机(使用的是CentOS6.5),用作搭建Cloudera Manager环境。废话不多说,直接开始~


一、环境准备(在所有机器上操作

查看系统空间的使用情况等

搭建Cloudera Manager环境管理大数据集群

配置ip、主机名、主机映射等(重启生效!!)

搭建Cloudera Manager环境管理大数据集群

禁用ipv6(重启生效!!)

# echo "alias net-pf-10 off"  >>  /etc/modprobe.d/dist.conf 
# echo "alias ipv6 off"  >>  /etc/modprobe.d/dist.conf

关闭防火墙并设置为开机不启动以及禁用selinux(重启生效!!)

# service iptables stop && chkconfig iptables off && chkconfig --list | grep iptables

# vi /etc/sysconfig/selinux

搭建Cloudera Manager环境管理大数据集群

ssh免秘钥登录

# ssh-******

# ssh-copy-id 主机名01

# ssh-copy-id 主机名02

# ssh-copy-id 主机名03

安装JDK

搭建Cloudera Manager环境管理大数据集群

修改用户可用的最大服务器资源限制(重启生效!!)

# ulimit  -a

#  vi /etc/security/limits.conf

*               soft    nofile          32728
*               hard    nofile          1024567
*               soft    nproc           65535
*               hard    nproc           unlimited
*               soft    memlock         unlimited
*               hard    memlock         unlimited

搭建Cloudera Manager环境管理大数据集群


二、集群时间服务器

选择一台服务器作为集群的时间服务器,这里我选择第一台,即:hadoop.cm01

在hadoop.cm01上修改配置文件

# vi /etc/ntp.conf

搭建Cloudera Manager环境管理大数据集群

server  127.127.1.0     # local clock
fudge   127.127.1.0 stratum 10

搭建Cloudera Manager环境管理大数据集群

在所有机器上执行命令:

# service ntpd start && chkconfig ntpd on && chkconfig --list | grep ntpd

修改hadoop.cm01的系统时间,与网络时间同步:

# ntpdate -u  us.pool.ntp.org

在hadoop.cm01上修改本地硬件时钟时间:

# hwclock --localtime   //查看本地硬件时钟时间 

# hwclock --localtime -w    //将系统时间写入本地硬件时钟时间

在hadoop.cm01上将本地硬件时钟时间与系统时间进行自动同步:

# vi /etc/sysconfig/ntpdate   

SYNC_HWCLOCK=yes

搭建Cloudera Manager环境管理大数据集群

# vi /etc/sysconfig/ntpd 
SYNC_HWCLOCK=yes

搭建Cloudera Manager环境管理大数据集群

除了hadoop.cm01之外的服务器制定一个crontab定时任务,定时向本集群同步时间

搭建Cloudera Manager环境管理大数据集群

搭建Cloudera Manager环境管理大数据集群

重启生效:# service crond restart


三、MySQL的安装部署(在hadoop.cm01上安装即可

选用MySQL5.6版本的,使用yum源安装默认是5.1的版本,需要修改yum源

1、卸载自带的MySQL

# rpm -qa | grep mysql 
# rpm -e --nodeps mysql-libs-5.1.66-2.el6_3.x86_64

2、安装更新yum源

# rpm -Uvh mysql57-community-release-el6-8.noarch.rpm

mysql57-community-release-el6-8.noarch.rpm下载地址:https://download.csdn.net/download/gdkyxy2013/10282525

更新后,此目录下出现两个MySQL的源文件

搭建Cloudera Manager环境管理大数据集群

3、修改上图中的两个文件:

# vi mysql-community.repo

搭建Cloudera Manager环境管理大数据集群

# vi mysql-community-source.repo

搭建Cloudera Manager环境管理大数据集群

4、更新yum缓存

# yum makecache

5、查看基于当前系统的yum源可以下载安装的MySQL版本

# yum repolist enabled | grep mysql

6、yum安装MySQL5.6版本

# yum -y install mysql-community-server

7、启动MySQL并进行初始化设置

# service mysqld start 
# mysql_secure_installation

搭建Cloudera Manager环境管理大数据集群


四、Cloudera Manager的安装

首先在所有的服务器上安装第三方依赖包

# yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb

然后在所有服务器上创建如下目录:

# mkdir -p /opt/cloudera-manager  //目录路径和名称不能变

解压Cloudera Manager的tar包到/opt/cloudera-manager目录下:

# tar zxf /opt/softwares/cloudera-manager-el6-cm5.3.6_x86_64.tar.gz  -C  /opt/cloudera-manager/

搭建Cloudera Manager环境管理大数据集群

修改agent的配置文件

/opt/cloudera-manager/cm-5.3.6/etc/cloudera-scm-agent  //agent配置文件目录

# vi  config.ini(所有服务器上都改为下图所示)

搭建Cloudera Manager环境管理大数据集群


五、为CM创建一个专用的普通用户 cloudera-scm(所有的服务器上!!)

# useradd --system  表示创建的是系统用户
 --home=/opt/cloudera-manager/cm-5.3.6/run/cloudera-scm-server  指定了用户的主目录
 --no-create-home 表示不再创建用户的主目录
 --shell=/bin/false  不作为登陆用户 
 --comment "Cloudera SCM User" 
 cloudera-scm   用户名

验证: 
# cat /etc/passwd | grep cloudera-scm

搭建Cloudera Manager环境管理大数据集群


六、配置CM访问数据库的权限,添加一个temp用户

1、mysql> grant all privileges on  *.*  to 'temp'@'%' identified by 'temp' with grant option ;

2、mysql> flush privileges ;   需要刷新权限才生效

3、上传mysql-connector-java.jar

# cp /opt/softwares/mysql-connector-java.jar /usr/share/java

4、在hadoop.cm01上执行CM在mysql中的初始化脚本

/opt/cloudera-manager/cm-5.3.6/share/cmf/schema  初始化脚本路径

# ./scm_prepare_database.sh mysql -h hadoop.cm01 -utemp -ptemp --scm-host hadoop.cm01 scm scm scm


七、配置CDH源

1、创建目录

# mkdir -p /opt/cloudera/parcel-repo   //在server节点上  
# mkdir -p /opt/cloudera/parcels   //在所有节点上

搭建Cloudera Manager环境管理大数据集群

2、将parcel文件移动到parcel-repo目录下

# mv /opt/softwares/CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel*  /opt/cloudera/parcel-repo/

3、修改CDH源校验码文件的名称

# mv CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha

4、更改目录所有人

# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/  //在server节点上
# chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels/  //在所有节点上


八、启动CM进程服务

1、启动server 
# /opt/cloudera-manager/cm-5.3.6/etc/init.d/cloudera-scm-server start  

2、启动agent 
# /opt/cloudera-manager/cm-5.3.6/etc/init.d/cloudera-scm-agent start

在web界面输入:http://192.168.100.28:7180进入CM初始界面。  (192.168.100.28为hadoop.cm01的ip地址)

搭建Cloudera Manager环境管理大数据集群

用户名和密码都是:admin

搭建Cloudera Manager环境管理大数据集群

搭建Cloudera Manager环境管理大数据集群

搭建Cloudera Manager环境管理大数据集群

搭建Cloudera Manager环境管理大数据集群

搭建Cloudera Manager环境管理大数据集群

搭建Cloudera Manager环境管理大数据集群

搭建Cloudera Manager环境管理大数据集群

搭建Cloudera Manager环境管理大数据集群

搭建Cloudera Manager环境管理大数据集群

按照提示修改即可(所有的服务器上都要修改)

搭建Cloudera Manager环境管理大数据集群

搭建Cloudera Manager环境管理大数据集群

搭建Cloudera Manager环境管理大数据集群

搭建Cloudera Manager环境管理大数据集群

搭建Cloudera Manager环境管理大数据集群

如果选择了安装Activity Monitor,则需要给其创建数据库

搭建Cloudera Manager环境管理大数据集群

搭建Cloudera Manager环境管理大数据集群

搭建Cloudera Manager环境管理大数据集群

搭建Cloudera Manager环境管理大数据集群

搭建Cloudera Manager环境管理大数据集群

到此,安装成功!!如果失败,可以重试一下。


成功后的界面如下:

搭建Cloudera Manager环境管理大数据集群

至此,搭建Cloudera Manager环境管理大数据集群就讲完了,是不是感觉也没有那么难~


你们在此过程中还遇到了什么问题,欢迎留言,让我看看你们都遇到了哪些问题。

相关文章: