使用 java.lang.NoClassDefFoundError 在 AWS EMR 上运行 Pig UDF：org/apache/pig/LoadFunc答案

【问题标题】：Pig UDF running on AWS EMR with java.lang.NoClassDefFoundError: org/apache/pig/LoadFunc使用 java.lang.NoClassDefFoundError 在 AWS EMR 上运行 Pig UDF：org/apache/pig/LoadFunc
【发布时间】：2012-12-05 01:13:13
【问题描述】：

我正在开发一个应用程序，它尝试读取存储在 S3 bucks 中的日志文件并使用 Elastic MapReduce 对其进行解析。当前日志文件具有以下格式

------------------------------- 
COLOR=Black 
Date=1349719200 
PID=23898 
Program=Java 
EOE 
------------------------------- 
COLOR=White 
Date=1349719234 
PID=23828 
Program=Python 
EOE

所以我尝试将文件加载到我的 Pig 脚本中，但内置的 Pig Loader 似乎无法加载我的数据，所以我必须创建自己的 UDF。由于我对 Pig 和 Hadoop 还很陌生，因此我想在编写自己的脚本之前先尝试其他人编写的脚本，以了解 UDF 的工作原理。我从这里找到了一个http://pig.apache.org/docs/r0.10.0/udf.html，有一个 SimpleTextLoader。为了编译这个 SimpleTextLoader，我必须添加一些导入，如

import java.io.IOException; 
import java.util.ArrayList;
import org.apache.hadoop.io.Text; 
import org.apache.hadoop.mapreduce.Job; 
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat; 
import org.apache.hadoop.mapreduce.InputFormat; 
import org.apache.hadoop.mapreduce.RecordReader; 
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; 
import org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigSplit; 
import org.apache.pig.backend.executionengine.ExecException; 
import org.apache.pig.data.Tuple; 
import org.apache.pig.data.TupleFactory;
import org.apache.pig.data.DataByteArray; 
import org.apache.pig.PigException; 
import org.apache.pig.LoadFunc;

然后，我发现我需要编译这个文件。我要下载svn和pig running

sudo apt-get install subversion 
svn co http://svn.apache.org/repos/asf/pig/trunk 
ant

现在我有一个 pig.jar 文件，然后我尝试编译这个文件。

javac -cp ./trunk/pig.jar SimpleTextLoader.java 
jar -cf SimpleTextLoader.jar SimpleTextLoader.class

它编译成功，我在 Pig 中输入 grunt，在 grunt 中我尝试加载文件，使用

grunt> register file:/home/hadoop/myudfs.jar
grunt> raw = LOAD 's3://mys3bucket/samplelogs/applog.log' USING myudfs.SimpleTextLoader('=') AS (key:chararray, value:chararray); 

2012-12-05 00:08:26,737 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2998: Unhandled internal error. org/apache/pig/LoadFunc Details at logfile: /home/hadoop/pig_1354666051892.log

在pig_1354666051892.log里面，有

Pig Stack Trace
---------------
ERROR 2998: Unhandled internal error. org/apache/pig/LoadFunc

java.lang.NoClassDefFoundError: org/apache/pig/LoadFunc

我还尝试使用来自http://wiki.apache.org/pig/UDFManual 的另一个 UDF (UPPER.java)，但尝试使用 UPPER 方法仍然会遇到相同的错误。你能帮帮我吗，这里有什么问题吗？非常感谢！

更新：我确实在 /home/hadoop/lib/pig/pig.jar 尝试了 EMR 内置 Pig.jar，但遇到了同样的问题。

【问题讨论】：

为什么不使用 EMR 中内置的 Pig 支持？
是的，我确实在 /home/hadoop/lib/pig/pig.jar 中使用了内置 pig，但仍然遇到相同的错误。我还在我的脚本中专门注册了这个 pig.jar 文件。但仍然得到同样的错误。
您可以简单地将您在本地开发的 Pig 脚本提供给 EMR，方法是将其放在 S3 中。 AWS 会为您处理所有配置和引导。
我在交互模式下运行。
EMR 更适合大规模运行。我建议您在您的机器上以本地模式开发您的脚本，并且只将最终脚本部署到 EMR。无论如何，请注意，您可以在 EMR 集群中拥有多个版本的 Hadoop。也许您没有选择您想要的正确版本。

标签： hadoop amazon-web-services apache-pig amazon-emr

【解决方案1】：

把UDF jar放到/home/hadoop/lib/pig目录下或者把pig-*-amzn.jar文件复制到/home/hadoop/lib下就可以了。

您可能会使用引导操作来执行这些操作。

【讨论】：

【解决方案2】：

大多数 Hadoop 生态系统工具（例如 pig 和 hive）都在 $HADOOP_HOME/conf/hadoop-env.sh 中查找环境变量。

我能够通过将 pig-0.13.0-h1.jar（它包含 UDF 所需的所有类）添加到 HADOOP_CLASSPATH 来解决此问题：

export HADOOP_CLASSPATH=/home/hadoop/pig-0.13.0/pig-0.13.0-h1.jar:$HADOOP_CLASSPATH

pig-0.13.0-h1.jar 在 Pig 主目录中可用。

【讨论】：