没有 hadoop 集群的 windows 上的 MRUnit答案

【问题标题】：MRUnit on windows without hadoop cluster没有 hadoop 集群的 windows 上的 MRUnit
【发布时间】：2014-05-17 10:11:32
【问题描述】：

我正在寻找是否有一种方法可以在 Windows 中运行 hadoop Mapreduce 单元测试，而无需设置 hadoop。 MRUnit 是否作为 Java maven 项目在 Eclipse 中的 Windows（没有 cygwin）上运行？

谢谢 Srivatsan Nallazhagappan

【问题讨论】：

标签： hadoop mapreduce cloudera mapr mrunit

【解决方案1】：

您可以运行独立的MRUnit 测试。你所需要的只是你的 pom.xml 中的一些依赖项。我只是做了一个快速的小测试，这些是我运行成功测试所需的唯一依赖项。只是一个带有硬编码值的简单测试。没有 cywin，没有 hadoop 设置，只有依赖项。

<dependencies>
    <dependency>
        <groupId>jdk.tools</groupId>
        <artifactId>jdk.tools</artifactId>
        <version>1.7.0_25</version>
        <scope>system</scope>
        <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.2.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-yarn-common</artifactId>
        <version>2.2.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.mrunit</groupId>
        <artifactId>mrunit</artifactId>
        <version>1.0.0</version>
        <classifier>hadoop2</classifier>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>2.2.0</version>
    </dependency>
</dependencies>

就在没有 cygwin 的情况下运行设置而言，这也是可能的。查看this site 和this site 以获取有关为Windows 构建和安装hadoop 的帮助 cywin。

另外一个有用的工具是 eclipse 的 hadoop 插件。你可以看到compiled version here。它很容易使用。你可以得到一些关于如何使用它的帮助here

【讨论】：

谢谢。效果很好。这很酷，我看到 Mrunit 也支持分布式缓存。只是我原始问题的扩展（如果需要，将创建一个单独的帖子），我假设如果在 map/setup 方法中有 hdfs 读/写调用，mrunit 无法模拟（我理解它通常不推荐，不幸的是我已经读过调用在我的设置方法中）。
您可以使用MiniMRCluster 和MiniDFSCluster，如here 所述。为此，您需要hadoop-test-x.y.z.jar。我刚刚在eclipse中设置了它。如果您想了解更多信息，请告诉我
谢谢。会试一试。发现Mrunit似乎没有完全支持分布式缓存（例如符号链接功能不可用），至少在我使用的1.0.0版本中。