自定义 InputFormat，hadoop c++ 管道答案

【问题标题】：custom InputFormat, hadoop c++ pipes自定义 InputFormat，hadoop c++ 管道
【发布时间】：2015-02-19 05:39:12
【问题描述】：

我想使用 hadoop c++ 管道来创建我的 may/reduce 代码。并且输入数据是二进制的，我想自定义输入格式来控制 getSplits 逻辑......但我不确定这是否是一个可能的解决方案。我尝试在 cli 中分配我的自定义 inputformat 类，但未能运行。

../bin/hadoop pipes -conf testframework.xml -input input -output output -inputformat TestInputFormat.class

我得到以下错误：

Exception in thread "main" java.lang.ClassNotFoundException: TestInputFormat.class
        at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
        at java.lang.Class.forName0(Native Method)
        at java.lang.Class.forName(Class.java:247)
        at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:812)
        at org.apache.hadoop.mapred.pipes.Submitter.getClass(Submitter.java:372)
        at org.apache.hadoop.mapred.pipes.Submitter.run(Submitter.java:421)
        at org.apache.hadoop.mapred.pipes.Submitter.main(Submitter.java:494)

这有意义吗？

【问题讨论】：

标签： hadoop

【解决方案1】：

我认为你的问题只是 .class 最后。但是，如果您已经尝试删除它。你可以试试我所做的来解决这个问题。我打包成一个 .jar (jar cf libJar.jar packageName)。我使用-libjars 来引用它，并使用-inputformat packageName.TestInputFormat。我希望这会有所帮助。

编辑 1

另一种方法是使用-D mapred.input.format.class=packageName.TestInputFormat

【讨论】：