在 hbase 1.0.1 上运行 mapreduce 的问题答案

【问题标题】：Issues with running mapreduce on hbase 1.0.1在 hbase 1.0.1 上运行 mapreduce 的问题
【发布时间】：2015-06-01 07:49:19
【问题描述】：

我在 Apache Hadoop 2.7 集群环境中独立运行 Hbase 1.0.1。在 Hbase 上运行简单的 Map Reduce 作业时遇到以下问题。

Exception in thread "main" java.io.FileNotFoundException: File does not exist: hdfs://hdmaster:9000/usr/hadoop/share/hadoop/common/lib/zookeeper-3.4.6.jar
        at org.apache.hadoop.hdfs.DistributedFileSystem$22.doCall(DistributedFileSystem.java:1309)
        at org.apache.hadoop.hdfs.DistributedFileSystem$22.doCall(DistributedFileSystem.java:1301)
        at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
        at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1301)
        at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.getFileStatus(ClientDistributedCacheManager.java:288)
        at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.getFileStatus(ClientDistributedCacheManager.java:224)
..
..
..
..

我的 Hadoop 和 Hbase 设置看起来不错，因为我可以运行 wordcount 示例并且还可以毫无问题地放置/获取 Hbase 表。

似乎我没有遗漏在 Hbase 上运行 Mapreduce 的任何设置。我也试过：

出口 HADOOP_CLASSPATH="$HBASE_HOME/lib/hadoop-client-2.5.1.jar:$HBASE_HOME/lib/hbase-common-1.0.1.jar:$HBASE_HOME/lib/protobuf-java-2.5.0.jar:$HBASE_HOME /lib/guava-12.0.1.jar:$HBASE_HOME/lib/zookeeper-3.4.6.jar:$HBASE_HOME/lib/hbase-protocol-1.0.1.jar"

【问题讨论】：

标签： hadoop mapreduce hbase

【解决方案1】：

已解决-如果有人遇到同样的问题，请发布。

$HBASE_HOME/lib 中的 Hadoop jar 版本与 hadoop 安装 jar 不匹配。所以我用所需的版本替换了它们。重启 HDFS、YARN 和 HBase。

使用以下命令运行 MR 作业：

$ HADOOP_CLASSPATH=$(hbase classpath) hadoop jar MyJob.jar MyJobMainClass

【讨论】：