Cloudera Manager和CDH搭建可参考“https://blog.csdn.net/gtsina/article/details/78048925”这篇博客,亲测可以搭建成功。搭建过程遇到的一些问题及解决方案记录如下:

1、安装之前一定要配置ntpd服务器,不然会出现警告

解决方案:

如何安装ntpd服务器,请参考“https://blog.csdn.net/freedomboy319/article/details/46710255”。

2、设置root授权访问以上所有的数据库

解决方案:

#授权root用户在主节点拥有所有数据库的访问权限
grant all privileges on *.* to 'root'@'n1' identified by 'xxxx' with grant option;
flush privileges;

其中'xxxx'为mysql的密码

3、Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf,以在重启后保存该设置。您可以继续进行安装,但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。以下主机将受到影响: 

解决方案:

在终端运行命令 “echo 0 > /proc/sys/vm/swappiness”即可解决。

4、已启用透明大页面压缩,可能会导致重大性能问题。请运行“echo never > /sys/kernel/mm/transparent_hugepage/defrag”和“echo never > /sys/kernel/mm/transparent_hugepage/enabled”以禁用此设置,然后将同一命令添加到 /etc/rc.local 等初始化脚本中,以便在系统重启时予以设置。以下主机将受到影响

解决方案:

运行“echo never > /sys/kernel/mm/transparent_hugepage/defrag”和“echo never > /sys/kernel/mm/transparent_hugepage/enabled”以禁用此设置,然后将同一命令添加到 /etc/rc.local 等初始化脚本中,以便在系统重启时予以设置。

5、在如下页面可能需要需要reports 、oozie 、hue数据库,不然不会出现“Successful ”

Cloudera Manager和CDH搭建相关事项

 解决方案:

           create database reports DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
           create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
           create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

6、在安装hive和oozie的过程中,都需要Mysql的JDBC驱动。

解决方案:

Hive的拷贝位置为:# cp /opt/cm-5.4.7/share/cmf/lib/mysql-connector-java-5.1.33-bin.jar /opt/cloudera/parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/lib/hive/lib/

Oozie的拷贝位置为:# cp /opt/cm-5.4.7/share/cmf/lib/mysql-connector-java-5.1.33-bin.jar /var/lib/oozie/

7、启动Spark-shell报错:1024MB+3..MB

解决方案:

Yarn修改参数配置:CM UI界面->YARN->配置->筛选器->类别->资源管理

相关文章:

  • 2022-01-05
  • 2021-11-08
  • 2021-07-23
  • 2022-12-23
  • 2021-08-17
  • 2022-12-23
  • 2022-12-23
猜你喜欢
  • 2022-03-09
  • 2021-06-27
  • 2021-09-19
  • 2021-10-25
  • 2022-12-23
  • 2022-12-23
  • 2021-12-10
相关资源
相似解决方案