使用 Hadoop-2.5.0 配置 Pig-0.12.1答案

【问题标题】：Configuring Pig-0.12.1 with Hadoop-2.5.0使用 Hadoop-2.5.0 配置 Pig-0.12.1
【发布时间】：2015-03-12 15:59:11
【问题描述】：

我在 $HADOOP_HOME 有一个现有的 Hadoop 客户端 (hadoop-0.20.2)。使用此版本的 Hadoop，所有客户端配置文件都放置在以下目录中：$HADOOP_HOME/conf

为了让 Pig 工作，我设置了 $PIG_CLASSPATH=$HADOOP_HOME/conf。然后我可以简单地从它的主目录运行 Pig 而不会出现问题。

我尝试设置一个新的 Hadoop 客户端 (hadoop-2.5.0)，将 $HADOOP_HOME 设置为指向该目录。对于这个版本的 Hadoop，我将客户端配置放在 $HADOOP_HOME/etc/hadoop

然后我设置 $PIG_CLASSPATH=$HADOOP_HOME/etc/hadoop.但是，当我现在尝试运行 pig 时，出现以下错误：

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/mapred/JobConf
    at org.apache.pig.Main.run(Main.java:587)
    at org.apache.pig.Main.main(Main.java:111)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.mapred.JobConf
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    ... 7 more

是否需要将其他位置添加到 PIG_CLASSPATH 才能启动和运行？

【问题讨论】：

我应该指出我可以使用两个hadoop客户端访问集群

标签： java hadoop apache-pig

【解决方案1】：

设法找到原因。我正在将配置复制到已发送给我的 $HADOOP_HOME/etc/hadoop 中。在 hadoop-env.sh 里面有一行

 export HADOOP_MAPRED_HOME=....

将相关 jar 的位置更新为不存在的位置。

【讨论】：