ImportTsv-HBASE 批量加载中的错误答案

【问题标题】：ERROR in ImportTsv-HBASE BULK LOADImportTsv-HBASE 批量加载中的错误
【发布时间】：2013-04-22 23:11:48
【问题描述】：

我有 hbase 0.94.0。我尝试使用 importtsv 工具进行批量导入。这是我给的命令

./hadoop jar /home/ericsson/Desktop/ProjectFiles/hbase-0.94.0/hbase-0.94.0.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,a,b,c,d,e,f,g '-Dimporttsv.separator=,' Test1 /home/ericsson/Desktop/ProjectFiles/inputFiles1/CharginUsage-m-00000

Test1-Hbase 中已经存在的我的表。 /home/ericsson/Desktop/ProjectFiles/inputFiles1/CharginUsage-m-00000- 我有 CSV 文件的目录。

我收到以下错误：

    Exception in thread "main" java.lang.NoClassDefFoundError: com/google/common/collect/Multimap
    at org.apache.hadoop.hbase.mapreduce.Driver.main(Driver.java:43)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:616)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
Caused by: java.lang.ClassNotFoundException: com.google.common.collect.Multimap
    at java.net.URLClassLoader$1.run(URLClassLoader.java:217)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:205)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:321)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:266)
    ... 6 more

【问题讨论】：

标签： hadoop hbase

【解决方案1】：

importtsv 任务需要 Google 的 Guava 库才能运行。该库位于 $HBASE_HOME/lib/guava-.jar 下告诉hadoop在执行期间获取这个番石榴罐是很重要的。只需将 jar 从 hbase lib 复制到 hadoop lib。一个更体面的解决方案是将此jar路径添加到hadoop类路径或使用以下命令执行hadoop任务。

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HBASE_HOME/lib/guava-<version>.jar

或

export HADOOP_CLASSPATH=`hbase classpath ` /hadoop jar /home/ericsson/Desktop/ProjectFiles/hbase-0.94.0/hbase-0.94.0.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,a,b,c,d ,e,f,g '-Dimporttsv.separator=,' Test1 /home/ericsson/Desktop/ProjectFiles/inputFiles1/CharginUsage-m-00000*

【讨论】：