没有类名的 ClassNotFoundException

Question

我尝试在 jar 中添加 UDF 并尝试了 LOAD。以下是我的sn-p

注册“目标/warcbase-0.1.0-SNAPSHOT-fatjar.jar”； 定义 WarcLoader org.warcbase.pig.WarcLoader(); warc = LOAD '/raw/' 使用 WarcLoader AS (url: chararray, date: chararray, mime: chararray, content: bytearray); STORE warc INTO '/raw/proc/';

我得到了以下异常。不幸的是，它没有告诉我没有找到哪个类。以下是整个堆栈跟踪

后端错误信息 --------------------- 错误：java.io.IOException：java.lang.ClassNotFoundException：找不到类 在 org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigSplit.readFields(PigSplit.java:236) 在 org.apache.hadoop.io.serializer.WritableSerialization$WritableDeserializer.deserialize(WritableSerialization.java:71) 在 org.apache.hadoop.io.serializer.WritableSerialization$WritableDeserializer.deserialize(WritableSerialization.java:42) 在 org.apache.hadoop.mapred.MapTask.getSplitDetails(MapTask.java:372) 在 org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:751) 在 org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) 在 org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163) 在 java.security.AccessController.doPrivileged（本机方法） 在 javax.security.auth.Subject.doAs(Subject.java:415) 在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628) 在 org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158) 引起：java.lang.ClassNotFoundException：找不到类 在 org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1982) 在 org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigSplit.readFields(PigSplit.java:224) ... 10 更多 猪堆栈跟踪 --------------- 错误 0：java.io.IOException：java.lang.ClassNotFoundException：找不到类 org.apache.pig.backend.executionengine.ExecException：错误0：java.io.IOException：java.lang.ClassNotFoundException：找不到类 在 org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher.getStats(MapReduceLauncher.java:819) 在 org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher.launchPig(MapReduceLauncher.java:452) 在 org.apache.pig.backend.hadoop.executionengine.HExecutionEngine.launchPig(HExecutionEngine.java:280) 在 org.apache.pig.PigServer.launchPlan(PigServer.java:1390) 在 org.apache.pig.PigServer.executeCompiledLogicalPlan（PigServer.java:1375） 在 org.apache.pig.PigServer.execute(PigServer.java:1364) 在 org.apache.pig.PigServer.executeBatch(PigServer.java:415) 在 org.apache.pig.PigServer.executeBatch(PigServer.java:398) 在 org.apache.pig.tools.grunt.GruntParser.executeBatch（GruntParser.java:171） 在 org.apache.pig.tools.grunt.GruntParser.parseStopOnError（GruntParser.java:234） 在 org.apache.pig.tools.grunt.GruntParser.parseStopOnError（GruntParser.java:205） 在 org.apache.pig.tools.grunt.Grunt.exec（Grunt.java:81） 在 org.apache.pig.Main.run(Main.java:624) 在 org.apache.pig.Main.main(Main.java:170) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:606) 在 org.apache.hadoop.util.RunJar.run(RunJar.java:221) 在 org.apache.hadoop.util.RunJar.main(RunJar.java:136) 引起：java.io.IOException：java.lang.ClassNotFoundException：找不到类 在 org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigSplit.readFields(PigSplit.java:236) 在 org.apache.hadoop.io.serializer.WritableSerialization$WritableDeserializer.deserialize(WritableSerialization.java:71) 在 org.apache.hadoop.io.serializer.WritableSerialization$WritableDeserializer.deserialize(WritableSerialization.java:42) 在 org.apache.hadoop.mapred.MapTask.getSplitDetails(MapTask.java:372) 在 org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:751) 在 org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) 在 org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163) 在 java.security.AccessController.doPrivileged（本机方法） 在 javax.security.auth.Subject.doAs(Subject.java:415) 在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628) 在 org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158) 引起：java.lang.ClassNotFoundException：找不到类 在 org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1982) 在 org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigSplit.readFields(PigSplit.java:224)

请帮助我了解如何从这里开始。

Answer 1

确保您的 UDF jar 在您的 Pig ClassPATH 中。 添加以下环境变量：

导出 PIG_CLASSPATH=/to/jar/location:$PIG_HOME/pig-0.15.0-h2.jar:$PIG_CLASSPATH