hadoop 协议消息标签的线路类型无效答案

【问题标题】：hadoop Protocol message tag had invalid wire typehadoop 协议消息标签的线路类型无效
【发布时间】：2015-10-29 05:28:36
【问题描述】：

我在 Ubuntu 12.04 上使用两个节点（每个节点有 8 个内核）设置了 hadoop 2.6 集群。 sbin/start-dfs.sh 和 sbin/start-yarn.sh 都成功了。我可以在主节点上的jps 之后看到以下内容。

22437 DataNode
22988 ResourceManager
24668 Jps
22748 SecondaryNameNode
23244 NodeManager

从节点上的jps结果是

19693 DataNode
19966 NodeManager

然后我运行 PI 示例。

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 30 100

这给了我错误日志

java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message tag had invalid wire type.; Host Details : local host is: "Master-R5-Node/xxx.ww.y.zz"; destination host is: "Master-R5-Node":54310; 
    at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:772)
    at org.apache.hadoop.ipc.Client.call(Client.java:1472)
    at org.apache.hadoop.ipc.Client.call(Client.java:1399)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:232)
    at com.sun.proxy.$Proxy9.getFileInfo(Unknown Source)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getFileInfo(ClientNamenodeProtocolTranslatorPB.java:752)

问题似乎与 HDFS 文件系统有关，因为尝试命令 bin/hdfs dfs -mkdir /user 失败并出现类似异常。

java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message tag had invalid wire type.; Host Details : local host is: "Master-R5-Node/xxx.ww.y.zz"; destination host is: "Master-R5-Node":54310;

xxx.ww.y.zz 是 Master-R5-Node 的 IP 地址

我已经检查并遵循了ConnectionRefused 在 Apache 和本网站上的所有建议。

尽管努力了一周，我还是无法修复它。

谢谢。

【问题讨论】：

标签： hadoop network-connection

【解决方案1】：

导致我遇到问题的原因有很多。但我最终使用以下一些东西修复了它。

确保您拥有/hadoop 和hdfs temporary 文件所需的权限。（你必须弄清楚你的特殊情况在哪里）

从fs.defaultFS 中删除$HADOOP_CONF_DIR/core-site.xml 中的端口号。它应该如下所示：

`<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://my.master.ip.address/</value>
<description>NameNode URI</description>
</property>
</configuration>`

将以下两个属性添加到`$HADOOP_CONF_DIR/hdfs-site.xml

 <property>
    <name>dfs.datanode.use.datanode.hostname</name>
    <value>false</value>
 </property>

  <property>
     <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
     <value>false</value>
  </property>

瞧！您现在应该可以开始运行了！

【讨论】：