使用 hadoop 配置 Apache Tez答案

【问题标题】：Apache Tez configuration with hadoop使用 hadoop 配置 Apache Tez
【发布时间】：2015-07-04 15:21:38
【问题描述】：

简而言之，这是我所做的：

第 1 步：我已经在我的笔记本电脑（单节点）上成功配置了 hadoop 2.6，并运行了一个示例 mapreduce 作业。

STEP2： 我克隆了 tez 存储库并成功构建了 0.8.0 版本并将 jarfile 复制到 HDFS 并导出所需的变量。我还在 mapred-site.xml 中将变量 mapreduce.framework.name 的值更改为 yarn-tez。

但是当我想运行一个 tez orderedwordcount 作业时，我得到了这个错误：

15/07/04 18:45:03 INFO ipc.Client: Retrying connect to server: hostname/hostIP:57339. 
Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
15/07/04 18:45:12 INFO client.DAGClientImpl: DAG completed. FinalState=FAILED

我检查了资源管理器，它正在侦听端口 8030。但似乎客户端试图连接到一个随机端口。对吗？

我该怎么做才能让它正常工作？

【问题讨论】：

标签： java hadoop hadoop-yarn apache-tez

【解决方案1】：

好像是这个版本（0.8.0）连接资源管理器的问题。我编译并集成了以前的稳定版本（0.7.0），现在一切都很好。我希望他们能解决问题。

【讨论】：

【解决方案2】：

从您的日志来看，这似乎是防火墙问题，而不是 Tez 版本的问题。它与 Tez 无关，即使你只运行 Hadoop，你也可以面对这个问题。

Hadoop 使用多个端口与客户端和服务组件之间进行通信。要启用 Hadoop 通信，请打开 Hadoop 使用的特定端口。要打开特定端口，您可以在 Windows 中设置访问规则。例如，以下命令将打开活动 Windows 防火墙中的 80 端口：

netsh advfirewall 防火墙添加规则名称=AllowRPCCommunication dir=in action=allow protocol=TCP localport=80

【讨论】：