【问题标题】:Install Hue without Cloudera在没有 Cloudera 的情况下安装 Hue
【发布时间】:2023-09-10 20:16:01
【问题描述】:

有没有人尝试/成功在没有 Cloudera 的情况下在 Hadoop 上安装 Hue?

我已经到了可以使用 hbase 和 hive 可靠地重现 hadoop 集群的地步,并且可以在大约 15 分钟内完成所有设置。我很想将 Hue 与所有这些一起使用,而无需返回并重新使用 Cloudera 进行设置。

【问题讨论】:

    标签: hadoop cloudera hue


    【解决方案1】:

    按照 Hortonworks 文档中的 Hue manual installation steps,它将带您逐步了解如何手动操作。

    【讨论】:

    • 它不是假设必须配置 HDP repo (yum install hue)。我认为最初的查询是关于在 Apache Hadoop 上安装 Hue,而不是在 Cloudera/HortonWorks 等第三方 Hadoop 上。
    • 是的,这确实假设已配置 HDP,但是您可以跳过它并自己获取 rpm-s 并继续安装。
    【解决方案2】:

    查看幻灯片 #19 和 #5,Hue 无处不在,并且与 Hadoop 0.20 / 1.2.0 / 2.2.0 兼容:http://gethue.com/hue-goes-to-paris-hug-france/

    Hue 有 tarball 版本releases,您可以免费安装。您也可以简单地克隆源代码(Hue 是开源和 Apache 许可的)github:https://github.com/cloudera/hue 并构建您想要的分支。

    上游文档是 here 或 CDH 的一个 here

    Hue 也封装在 BigTop 中(因此基于 Vanilla Hadoop)。

    Hue 是一个 Web 服务器(基于 Django),它充当 Hadoop 之上的视图。所以Hue只需要安装配置,然后在其hue.ini中添加NameNode、JobTracker、Resource Manager、Oozie、HiveServer...等主机即可。

    另外,如 gehue.com/releases 中所述,您需要的版本可能取决于您的 Hive 版本。

    请注意,如果没有 Cloudera 的分发,您的里程可能会有所不同,但请随时在 Hue user-listgethue.com 上加入;)

    我们还看到使用 Amazon AWS/EMR 改进 Hue 设置!

    【讨论】:

    • gethue.com 现在在其“下载”和“配置”菜单中提供了许多发行版的指南
    • 上述答案中提供的链接转到 tumblr 网站。你需要修复它们。
    【解决方案3】:

    引用:“......如果没有 Cloudera 的分发,您的里程可能会有所不同......”

    确实,它变化很大!看来以下是完全正确的:

    根据安装指南: http://cloudera.github.io/hue/docs-2.0.1/manual.html#_install_hue

    注意: Hue 需要 Cloudera 发行版中包含的 Hadoop,包括 Apache Hadoop (CDH),版本 3 更新 4 或更高版本。

    我已经尝试过了,但在尝试连接 Hive、Pig 和 OOZIE 时遇到了 Hue。

    在这个阶段 - 至少根据我的经验 - Hue 不会在使用标准 Apache 工具(如 Hive 和 Pig)的标准 Apache Hadoop 安装上运行。它一定是 Cloudera 发行版的经典之作。

    如果有人在 Cloudera 的发行版之外安装 Hue 有任何其他(积极的)经验,我很想听听他们...

    【讨论】:

      【解决方案4】:

      使用 apache hadoop 2.4.1 构建和运行 hue 3.6.0

      1. git clone https://github.com/cloudera/hue.git(注意!releases/tag/release-3.6.0 不稳定,最好从最新的 master 构建。我从 87d6b2da1 开始构建 - 它是稳定的)

      2. cd 色调

      3. $ vi maven/pom.xml

      4. 将 hadoop.version 更改为 2.4.1
      5. 将 hadoop-core 替换为 hadoop-common
      6. 将 hadoop-test 版本设置为 1.2.1

      7. 删除需要 hadoop mr1 的文件

      8. $ rm desktop/libs/hadoop/java/src/main/java/org/apache/hadoop/mapred/ThriftJobTrackerPlugin.java

      9. $ rm desktop/libs/hadoop/java/src/main/java/org/apache/hadoop/thriftfs/ThriftJobTrackerPlugin.java

      10. 构建色调$ make apps

      11. 配置色调$ vi desktop/conf/pseudo-distributed.ini

      12. 在开发模式下运行hue服务器$ build/env/bin/hue runserver 0.0.0.0:8000

      【讨论】:

      • 将我的指令添加到 github cloudera hue wiki github.com/cloudera/hue/wiki
      • 如果你只用hive也可以。但如果你想要其他工具,这还不够。 github 上的 Hue 存储库不包括 oozie。没有 Oozie,hue 无法连接 pig、hbase、spark 等。
      最近更新 更多