如何运行 Hbase 和 Hadoop mapreduce [关闭]答案

【问题标题】：how to run Hbase and Hadoop mapreduce [closed]如何运行 Hbase 和 Hadoop mapreduce [关闭]
【发布时间】：2013-12-12 04:39:52
【问题描述】：

谁能告诉我如何编译和运行 Hbase 和 Hadoop mapreduce。我已经搜索了一天多。我已经尝试了一些东西并最终出现以下错误

https://stackoverflow.com/questions/20471552/hbase-on-windows-executing-java-program

谁能给我解决方案或参考

谢谢

【问题讨论】：

嗯 .. @PandiyanCool... 而是尝试解决问题
我对java不熟悉。无论如何希望这个链接对hbase.apache.org/apidocs/org/apache/hadoop/hbase/mapreduce/…有帮助
您能否缩小您的问题范围：您是否有专门针对 Windows 的问题？您是否将问题缩小为Windows问题？你到底想要什么？地图缩小？ hbase客户端？带有hbase输入的map-reduce？您是否成功运行了简单的示例？

标签： java hadoop mapreduce nosql hbase

【解决方案1】：

HDFS/Hadoop 在 windows 上不兼容，windows 有一个 cygwin 方法，但它不完整。您将节省大量在 Linux 上运行 hadoop 的时间和精力。

查看 Hbase 站点上的 Hbase MR 示例： http://hbase.apache.org/book/mapreduce.example.html 我使用 CDH 库，下面的链接将指导您如何设置 maven 依赖项： http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH-Version-and-Packaging-Information/cdhvd_topic_8.html

基本上您将需要 3 个库：hadoop-client (hadoop-core/hadoop-common) zookeeper 和 hbase (hbase-common) 来编译您的 Hbase map reduce 程序。

【讨论】：

【解决方案2】：

我也不鼓励您在 Windows 上使用 HBase。如果您仍然尝试，请使用this tutorial。

我没有尝试过，我认为您确实应该考虑使用虚拟机（如果您只是想体验一下这项技术）。

例如，将VirtualBox 用于您的Windows 机器上的虚拟环境。然后安装像 Ubuntu 这样的 Linux 发行版作为 VM。在那里您可以轻松安装 Hadoop 和 HBase。

【讨论】：

【解决方案3】：

如果问题是在 Windows 上运行 hadoop 和 HBASE，请注意使用 cygwin 的“旧”方法非常困难 - 特别是如果您想设置集群，而不仅仅是使用本地模式。

如上所述，Hortonworks 有一个 Windows 版本，但它需要一个 Windows 服务器操作系统。一个类似的选项是使用称为hdinsight 的 Microsoft 版本（也是由 Hortonworks 开发的 - 它可能只是不同的包装），并且还支持桌面 Windows 版本（尽管它仅限于单个主机）

如果这不是你的问题，你应该更清楚地定义它

【讨论】：

【解决方案4】：

您是否尝试过 Hortonworks HDP for Windows？他们声称它是开源的，看起来他们至少为开发人员提供了最少需要的文档集。所以我认为它更不可行而且更多，建议你至少尝试他们的方法。

我自己的“跟踪”开发方法是在 Windows 主机上的任何 Ubuntu/CentOS VM 上使用 Cloudera Hadoop distribution（来宾 VM including their own free bundle 有很多选项）。 Cloudera Manager（有免费的“标准”版）简化了初始设置。实际上，如果您需要足够好的解决方案和合理的文档水平，它们看起来就像“事实上的标准”，而且它应该是免费的，而它还很小。

在 VM 上安装了 Hadoop，您可以基于任何大型客户端库来访问它。我实际上不建议在 Windows 上安装 Hadoop 服务器。至少从现在起一段时间（2013 年底）。

好的，使用“纯”Apache 解决方案，一切看起来都复杂得多。

【讨论】：