【问题标题】:Error while building Hadoop src using maven使用 maven 构建 Hadoop src 时出错
【发布时间】:2014-06-11 14:39:05
【问题描述】:

我想在 windows7 64 位上安装 hadoop 单节点设置。我已经安装了 cygwin、windows SDK 7.1、maven 3.1.1 和 jdk 1.6.33。

在 Windows 7 上运行 Hadoop 单节点设置非常麻烦。

在构建“mvn package -Pdist,native-win -DskipTests -Dtar”时,我遇到了以下错误。

有人可以帮助如何解决此错误或以任何其他方式在 Windows 7 64 位上构建 hadoop 吗?

错误日志部分如下:

[INFO] Apache Hadoop Main ................................ SKIPPED
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 41.461s
[INFO] Finished at: Wed Jun 11 19:42:25 IST 2014
[INFO] Final Memory: 53M/339M
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.
5.1:compile (default-compile) on project hadoop-common: Compilation failure: Com
pilation failure:
[ERROR] D:\hdfs\hadoop-common-project\hadoop-common\src\main\java\org\apache\had
oop\ipc\protocolPB\RefreshCallQueueProtocolPB.java:[26,65] package org.apache.ha
doop.ipc.proto.RefreshCallQueueProtocolProtos does not exist
[ERROR] D:\hdfs\hadoop-common-project\hadoop-common\src\main\java\org\apache\had
oop\ipc\protocolPB\RefreshCallQueueProtocolPB.java:[36,33] package RefreshCallQu
eueProtocolService does not exist
[ERROR] D:\hdfs\hadoop-common-project\hadoop-common\src\main\java\org\apache\had
oop\ipc\protocolPB\RefreshCallQueueProtocolServerSideTranslatorPB.java:[24,65] p
ackage org.apache.hadoop.ipc.proto.RefreshCallQueueProtocolProtos does not exist

【问题讨论】:

  • 你能发布你的 pom.xml
  • 为什么要从头编译?您可以从 hadoop 网站获取编译后的源代码。
  • @Vinay hadoop-common POM.xml文件如下
  • @jithinjustin 我正在从头开始编译,因为 Apache Hadoop 2.2.0 版本正式支持在 Microsoft Windows 上运行 Hadoop。但是 Apache Hadoop 2.2.0 版本的 bin 分发不包含一些 Windows 原生组件(如 winutils.exe、hadoop.dll 等)。因此,如果我们尝试在 windows 中运行 Hadoop,我们会遇到 ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path。

标签: java apache maven hadoop msbuild


【解决方案1】:

您可以从此网址下载最新的 hadoop 版本:

http://apache.mirrors.tds.net/hadoop/common/stable/hadoop-2.2.0.tar.gz

【讨论】:

【解决方案2】:

你无缘无故地让自己复杂化:如果你的系统是 32 位,你只需要在 windows 中构建 hadoop(祝你好运:我已经尝试了 3 周!)。由于您的系统是 64 位,您只需下载一个预编译包

【讨论】:

  • 作为评论而不是答案可能会更好。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2016-07-07
  • 1970-01-01
  • 2014-11-30
  • 2011-11-04
  • 2015-10-14
  • 2015-06-09
  • 1970-01-01
相关资源
最近更新 更多