Hue安装部署

Hue官方网站：https://gethue.com/
HUE官方用户手册：https://docs.gethue.com/
官方安装文档：https://docs.gethue.com/administrator/installation/install/
HUE下载地址：https://docs.gethue.com/releases/

准备

1、安装maven

   链接：https://pan.baidu.com/s/1yuTwK_tEAYt3HtMazrkUFg 
   提取码：i6at

  1.1 上传到服务器并解压apache-maven-3.5.4-bin.tar.gz

[root@cdh2 module]# tar -zxvf apache-maven-3.5.4-bin.tar.gz

  1.2 配置环境变量

[root@cdh2 module]# vim /etc/profile

export MAVEN_HOME=/opt/module/apache-maven-3.5.4
export PATH=$PATH:$MAVEN_HOME/bin

1.3 修改完重载文件

source /etc/profile 

1.4 验证 

[root@cdh2 module]# mvn -v
Apache Maven 3.5.4 (1edded0938998edf8bf061f1ceb3cfdeccf443fe; 2018-06-18T02:33:14+08:00)
Maven home: /opt/module/apache-maven-3.5.4
Java version: 1.8.0_144, vendor: Oracle Corporation, runtime: /opt/module/jdk1.8.0_144/jre
Default locale: zh_CN, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-1127.el7.x86_64", arch: "amd64", family: "unix"
[root@cdh2 module]# 

2、下载hue安装包

   链接：https://pan.baidu.com/s/1FdR4NZ-HSVcj94o8DwvCbw 
   提取码：ytuz 

3、安装hive、并启动hiveservice2服务

    hiveserver2的配置和启动 https://blog.csdn.net/leanaoo/article/details/83351240

安装详细步骤

1、解压hue-4.3.0.tar.zip安装包

[root@cdh1 software]# unzip hue-4.3.0.tar.zip

[root@cdh1 software]# tar xvf hue-4.3.0.tar

[root@cdh1 software]# ll
总用量 915580
drwxrwxr-x 10 hue  users       271 9月   2 2019 hue-4.3.0
-rw-rw-r--  1 root root  740003840 9月   2 2019 hue-4.3.0.tar
-rw-r--r--  1 root root  197547033 8月  27 2020 hue-4.3.0.tar.zip
[root@cdh1 software]# 

2、当前使用的安装包是已经编译过的可以直接使用，无需安装第三方依赖

[root@cdh1 software]# cd hue-4.3.0
[root@cdh1 hue-4.3.0]# ll
总用量 56
-rw-r--r--  1 hue users  2782 9月   2 2019 app.reg
drwxrwxr-x 22 hue users   309 9月   2 2019 apps
drwxr-xr-x  4 hue users    31 9月   2 2019 build
drwxrwxr-x  5 hue users    76 9月   2 2019 desktop
drwxrwxr-x 10 hue users   161 10月 17 2018 docs
drwxrwxr-x  3 hue users    24 10月 17 2018 ext
-rw-rw-r--  1 hue users 11349 10月 17 2018 LICENSE.txt
drwxr-xr-x  2 hue users   108 9月   2 2019 logs
-rw-rw-r--  1 hue users  4877 10月 17 2018 Makefile
-rw-rw-r--  1 hue users  8505 10月 17 2018 Makefile.sdk
-rw-rw-r--  1 hue users  3748 10月 17 2018 Makefile.vars
-rw-rw-r--  1 hue users  2192 10月 17 2018 Makefile.vars.priv
drwxrwxr-x  2 hue users    21 10月 17 2018 maven
-rw-rw-r--  1 hue users   894 10月 17 2018 NOTICE.txt
-rw-rw-r--  1 hue users  1502 10月 17 2018 README
drwxrwxr-x  5 hue users   115 10月 17 2018 tools
-rw-rw-r--  1 hue users   932 10月 17 2018 VERSION

3，修改hadoop配置文件

#在 hdfs-site.xml 中增加配置

<!-- HUE -->
<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>
<property>
  <name>dfs.permissions.enabled</name>
  <value>false</value>
</property>

 4、在 core-site.xml 中增加配置

<!-- HUE -->
<property>
  <name>hadoop.proxyuser.hue.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hue.groups</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hdfs.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hdfs.groups</name>
  <value>*</value>
</property>

5、 httpfs-site.xml 文件，加入配置

<!-- HUE -->
<property>
  <name>httpfs.proxyuser.hue.hosts</name>
  <value>*</value>
</property>
<property>
  <name>httpfs.proxyuser.hue.groups</name>
  <value>*</value>
</property>

备注：修改完HDFS相关配置后，需要把配置scp给集群中每台机器，重启hadoop集群。

Hue配置

# 进入hue配置目录
cd desktop/conf
vim hue.ini

-- 如下修改
# [desktop]
http_host=cdh1
http_port=8888
is_hue_4=true
time_zone=Asia/Shanghai
dev=true
server_user=hue
server_group=hue
default_user=hue

 # 207行左右。禁用solr，规避报错
app_blacklist=search

# [[database]]。Hue默认使用SQLite数据库记录相关元数据，替换为mysql
engine=mysql
host=cdh2
port=3306
user=root
password=123456
name=hue

# 1001行左右，Hadoop配置文件的路径
hadoop_conf_dir=/opt/module/hadoop-2.7.2/etc/hadoop

# 去mysql所在的机器上
# 在mysql中创建数据库hue，用来存放元数据
mysql -uroot -p123456
mysql> create database hue;

# 在hue-4.3.0目录中
# 初始化数据库，可以看到mysql的hue数据库下出现很多表
build/env/bin/hue syncdb
build/env/bin/hue migrate

 

1、查看mysql中是否生成表 

2、Hue整合Hadoop、Hive

  修改desktop/conf/hue.ini文件

  集成HDFS、YARN

# [hadoop] -- [[hdfs_clusters]] -- [[[default]]]  //983行

# 注意端口号。
fs_defaultfs=hdfs://cdh2:9000 #namenode节点
webhdfs_url=http://cdh2:50070/webhdfs/v1

#1001行

hadoop_conf_dir=/opt/module/hadoop-2.7.2/etc/hadoop

# [hadoop] -- [[yarn_clusters]] -- [[[default]]]

resourcemanager_host=cdh2

resourcemanager_port=8032

submit_to=True
resourcemanager_api_url=http://cdh2:8088
proxy_api_url=http://cdh2:8088

3、集成Hive
    集成Hive需要启动 Hiveserver2 服务 

# [beeswax]
hive_server_host=cdh2
hive_server_port=10000
hive_conf_dir=/opt/module/hive/conf

4、集成MySQL

 # [librdbms] -- [[databases]] -- [[[mysql]]]；1634行
# 注意：1634行原文： ##[[mysql]] => [[mysql]]；两个##要去掉!
[[[mysql]]]
nice_name="My SQL DB"
name=hue
engine=mysql
host=cdh2
port=3306
user=root
password=123456

5、启动hue

# 在hue安装路径下执行

[root@cdh1 hue-4.3.0]# build/env/bin/supervisor &
[1] 2652
[root@cdh1 bin]# starting server with options:
{'daemonize': False,
 'host': 'cdh1',
 'pidfile': None,
 'port': 8888,
 'server_group': 'hue',
 'server_name': 'localhost',
 'server_user': 'hue',
 'ssl_certificate': None,
 'ssl_certificate_chain': None,
 'ssl_cipher_list': 'ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:DHE-DSS-AES128-GCM-SHA256:kEDH+AESGCM:ECDHE-RSA-AES128-SHA256:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA:ECDHE-ECDSA-AES128-SHA:ECDHE-RSA-AES256-SHA384:ECDHE-ECDSA-AES256-SHA384:ECDHE-RSA-AES256-SHA:ECDHE-ECDSA-AES256-SHA:DHE-RSA-AES128-SHA256:DHE-RSA-AES128-SHA:DHE-DSS-AES128-SHA256:DHE-RSA-AES256-SHA256:DHE-DSS-AES256-SHA:DHE-RSA-AES256-SHA:AES128-GCM-SHA256:AES256-GCM-SHA384:AES128-SHA256:AES256-SHA256:AES128-SHA:AES256-SHA:AES:CAMELLIA:DES-CBC3-SHA:!aNULL:!eNULL:!EXPORT:!DES:!RC4:!MD5:!PSK:!aECDH:!EDH-DSS-DES-CBC3-SHA:!EDH-RSA-DES-CBC3-SHA:!KRB5-DES-CBC3-SHA',
 'ssl_private_key': None,
 'threads': 50,
 'workdir': None}

 

6、 启动 web ui服务