【问题标题】:Configure oozie workflow properties for HA JobTracker为 HA JobTracker 配置 oozie 工作流属性
【发布时间】:2013-06-17 12:52:41
【问题描述】:

对于 Oozie 工作流,您必须在工作流的属性中指定集群的 JobTracker。当您只有一个 JobTracker 时,这很容易:

jobTracker=主机名:端口

当集群配置为 HA(高可用性)JobTracker 时,我需要能够设置我的属性文件以便能够访问任一 JobTracker 主机,而无需在 JobTracker 具有故障转移到第二个节点。

当通过http访问一个JobTracker时,如果它没有运行,它会重定向到另一个,但是oozie不使用http,所以没有重定向,如果属性文件指定了job,就会导致工作流失败未运行的跟踪器主机。

如何配置我的属性文件以处理在 HA 中运行的 JobTracker?

【问题讨论】:

    标签: hadoop oozie


    【解决方案1】:

    我刚刚完成了一些 Oozie 工作流的设置,以使用 HA JobTrackers 和 NameNodes。关键是使用您配置的 HA 服务的逻辑名称,而不是任何单独的主机名或端口。例如,默认 HA JobTracker 名称为“logicaljt”。将 hostname:port 替换为“logicaljt”,只要您运行 Oozie 的节点正确安装了适当的 hdfs-site 和 mapred-site 配置,一切都应该正常工作(隐含由于是集群的一部分,或明确地由于向其添加网关角色)。

    【讨论】:

    • 我可以通过 oozie 命令行来做到这一点。但是当我从 webservices api 尝试时,我得到了以下信息。 code
    【解决方案2】:

    请为启用 HA 的集群指定名称服务。 例如:

    在属性文件中

    namenode=hdfs://<nameserivce>
    jobTracker=<nameservice>:8032 
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2016-04-09
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多