Hadoop 应用程序的包装器答案

【问题标题】：Wrapper for Hadoop ApplicationsHadoop 应用程序的包装器
【发布时间】：2025-12-01 10:00:01
【问题描述】：

是否存在 Hadoop 应用程序的包装器？我指的是一个将 Hadoop 设置转变为独立应用程序的包装器。我知道这会破坏 Hadoop 的目的。但是，这将极大地帮助开发 Hadoop 应用程序。

我知道 Hadoop Netbeans 插件允许创建本地应用内 Hadoop 环境。但是，我正在寻找一个应用程序，您可以让它在单个应用程序环境中代理您的 Hadoop 应用程序。

【问题讨论】：

【解决方案1】：

您所需要的只是 CLASSPATH 中的 Hadoop，默认情况下它将在本地模式下运行。

【讨论】：

【解决方案2】：

在 apache hadoop wiki 上有一个用于调试 map reduce 程序的条目。这可能是您问题的答案

cloudera 也有一篇关于如何将 hadoop 作为单元测试运行的博客 http://www.cloudera.com/blog/2008/12/testing-hadoop/

因此，您也许可以配置您的环境以执行您的 map reduce 程序作为单元测试，以查看发生了什么

【讨论】：

我用 Cassandra 和我的网络服务集成测试来做这个。
我不是在问如何调试 Hadoop 应用程序，我是在问如何将一个 hadoop 应用程序变成一个单节点应用程序。 [是的，这是违反直觉的] 这更多是出于演示目的而不是功能。

【解决方案3】：

在单个节点上从 tar.gz 文件安装 hadoop 默认为在 localhost 上运行所有内容。格式化 hdfs (hadoop namenode -format) 并且 start-all.sh 应该这样做。

【讨论】：