【问题标题】:Build a Hadoop Ecplise Library from CDH4 jar files从 CDH4 jar 文件构建 Hadoop Ecplise 库
【发布时间】:2012-06-23 01:39:21
【问题描述】:

我正在尝试构建一个 Hadoop 库,其中包含在 Eclipse 中构建 map/reduce 作业所需的所有 jar 文件。

在 Ubuntu 上安装 Hadoop 时,我需要哪些 .jar 文件以及从 CDH4 的单节点安装的哪些文件夹?

【问题讨论】:

    标签: hadoop


    【解决方案1】:

    假设您已经从https://ccp.cloudera.com/display/SUPPORT/CDH4+Downloadable+Tarballs 下载了 CDH4 tarball 发行版

    1. 解压压缩包
    2. 在解压后的目录中找到build.properties文件:

      hadoop-2.0.0-cdh4.0.0/src/hadoop-mapreduce-project/src/contrib/eclipse-plugin

    3. 为你的 eclipse 安装目录添加一个属性到这个文件中:

      eclipse.home=/opt/eclipse/jee-indigo-SR2

    4. 最后从hadoop-2.0.0-cdh4.0.0/src/hadoop-mapreduce-project目录运行ant来构建jar

    您现在将在 hadoop-2.0.0-cdh4.0.0/src/hadoop-mapreduce-project/build/contrib/eclipse-plugin/ 文件夹中有一个 jar 文件

    为了最终回答您的问题,依赖 jars 现在位于:

    • hadoop-2.0.0-cdh4.0.0/src/hadoop-mapreduce-project/build/contrib/eclipse-plugin/

    如果你想要这个列表,请看这个pastebin

    【讨论】:

    • 当我第 4 步构建成功但 eclipse-plugin 没有构建。所以我去了步骤 2 中提到的文件夹并运行命令 ant jar。它构建了一个缺少版本号的插件(即有 ${version} 而不是 2.0.0)。当我将此插件放入 Eclipse 插件时,MapReduce 透视图正确显示,但是当我单击创建新 Hadoop 位置时,什么都没有发生,也没有报告错误。您谈到的依赖罐,我应该将它们放在特定位置以使插件正常工作吗?顺便说一句,插件大小是 2.3MB。谢谢你的时间。
    • @M Dotnet:你能成功构建插件吗?
    • @Chris White:你有意见吗?
    • 我将不得不检查我上次运行的构建,我承认我从未在 Eclipse 中实际测试过该插件
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-12-30
    • 1970-01-01
    • 2013-02-17
    • 2020-08-27
    相关资源
    最近更新 更多