【问题标题】:Where are hadoop jar files in hadoop 2? [closed]hadoop 2中的hadoop jar文件在哪里? [关闭]
【发布时间】:2013-02-17 17:50:22
【问题描述】:

我正在尝试使用 Hadoop 实现一个示例字数统计程序。我已经下载并安装了Hadoop 2.0.0。我想使用 Eclipse 来做这个示例程序,因为我认为稍后在我的实际项目中我必须只使用 Eclipse。

我无法找到与 Hadoop 相关的 jar 文件,例如 hadoop-core.jar 和其他所需的 jar 文件。我搜索了 2.0 hadoop 的所有文件夹,但找不到这些文件。这些相同的文件在 Hadoop 1.0 版本中可用,但在 2.0 版本中不可用。我想知道在哪里可以得到这些文件?

我找不到太多关于 2.0 版本的信息。

请帮忙

【问题讨论】:

    标签: eclipse hadoop jar


    【解决方案1】:

    实际上,我一开始也遇到了类似的问题。显然,版本 2 没有 hadoop-core.jar。您必须下载 Hadoop CommonMapReduce Client Core jar 并同时使用它们。我相信它会解决你的问题。希望这会有所帮助!

    编辑:我刚刚更新了链接,以便人们可以从存储库中选择合适的版本,因为我们现在已经超越了初始版本 2。

    【讨论】:

    • 依赖库呢?稍后会导致运行时错误:stackoverflow.com/questions/20763553/hadoop-2-0-jar-files.
    • @IgorSevo 我认为您可能需要添加一些依赖库,但问题并没有要求。另外,如果您使用Gradle 进行依赖管理,它会自动包含依赖库,并且代码可以很好地与上述两个jar 一起使用。
    • 如以下回复中所述。它们将在${HADOOP_HOME}/share/hadoop/common${HADOOP_HOME}/share/hadoop/mapreduce 提供
    【解决方案2】:

    在下面列出的文件夹中包含 JAR 对我有用:

    share\hadoop\common       
    share\hadoop\common\lib   
    share\hadoop\mapreduce    
    share\hadoop\mapreduce\lib
    share\hadoop\yarn         
    share\hadoop\yarn\lib   
    

    【讨论】:

    • 斜线必须向前!!
    【解决方案3】:

    hadoop-core-${HADOOP_VERSION}.jar 在

    ${HADOOP_HOME}/share/hadoop/common 
    

    目录,而不是 ${HADOOP_HOME} 目录。

    【讨论】:

    • ${HADOOP_HOME}/share/hadoop/common
    • 简单而好的答案。赞成。
    【解决方案4】:

    这适用于我在 Hadoop 2.6.0 上的 Mac 上:

    hadoop/2.6.0/libexec/share/hadoop/common/hadoop-common-2.6.0.jar
    

    或者直接在hadoop目录下搜索“.jar”,就可以看到所有的.jar文件。

    【讨论】:

      【解决方案5】:

      hadoop-core-{version}.jar 从 Hadoop 2+ 开始变为 hadoop-common-{version}.jar

      【讨论】:

        【解决方案6】:

        【讨论】:

          【解决方案7】:

          在 hadoop 2.7.2 上,我必须将其设置为与 HADOOP_COMMON_HOME 相同。

          【讨论】:

            【解决方案8】:

            在下面的位置,您可以找到您已安装的发行版命名的文件夹,其中有一个 jar 文件夹。 /opt/cloudera/parcels/[cloudera 发行版]/jars/

            示例:/opt/cloudera/parcels/CDH-5.4.10/jars

            【讨论】:

              猜你喜欢
              • 1970-01-01
              • 1970-01-01
              • 2014-02-17
              • 1970-01-01
              • 1970-01-01
              • 1970-01-01
              • 2018-03-12
              • 1970-01-01
              • 1970-01-01
              相关资源
              最近更新 更多