【问题标题】:What's the successor of mrunit?mrunit的继任者是什么?
【发布时间】:2016-05-18 00:11:50
【问题描述】:

今天我发现 ASF 退役了 mrunit(请参阅 https://blogs.apache.org/foundation/entry/the_apache_news_round_up85https://issues.apache.org/jira/browse/HADOOP-3733homepage itself)。除了“不活动”之外,没有给出任何理由,所以我想必须有一个替代方案?

将来应该使用什么来代替 mrunit 来对 mapreduce 作业进行单元测试?

【问题讨论】:

  • 你找到什么了吗?
  • 没有。看来我们应该克隆项目并自己维护它。
  • 发现了一些有用的东西,查看回答帖子
  • @SaifAsif:好的,但是这个“答案帖”在哪里?
  • 取消删除,现在可以查看。

标签: unit-testing hadoop mapreduce mrunit


【解决方案1】:

我相信这次退役的原因是认识到 Mockito 已经可以处理您对映射器/缩减器进行单元测试所需的内容。您所需要的只是模拟您的 Context、Counter 和 HBase KeyValue,然后您可以将一行(以 Result 对象的形式)传递给映射器并检查发出的键/值是否正确。

仅供参考 - 实际上,在没有 MRUnit 和 PowerMock 的帮助下,我使用这种方法让我的 MR 单元测试完美运行。

【讨论】:

  • 如果确实有一些与之相关的示例代码,这将是一个更好的答案。
  • 很抱歉。写完这篇文章后,我离开了公司。是的,我应该给出示例代码。如果您是 java 中 mockito 单元测试的新手,那么设置起来相当棘手......
【解决方案2】:

不完全是继任者,但我通过一些研究尝试并测试了一种解决方法。它实际上是基于hadoop的Minicluster模块。

要了解如何使用它,可以找到in this link here的详细信息。还有一个github演示项目exists here

【讨论】:

  • 对这项研究投了赞成票。事实上,我们已经在一个实例中使用了MiniDFSCluster,而且肯定可以更多地使用它。但这不是我要寻找的答案,因为 MiniCluster 更像是一个功能级别的测试。我们还想涵盖单元级别方面(所以基本上只有 map/reduce 方法)
  • @DavidOngaro 正确,我也在考虑使用 MiniDFSCluster 进行扩展,并在其中包含一些单元测试。
  • 详细链接已过期
猜你喜欢
  • 2021-12-26
  • 2020-06-29
  • 1970-01-01
  • 2011-01-04
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2020-06-29
  • 1970-01-01
相关资源
最近更新 更多