PIG 命令执行

Question

我正在自学 Hadoop，所以我不确定我所问的是否有问题。当我运行命令 pig -x local 在本地运行它时，我收到以下消息：

2005 年 15 月 10 日 15:23:28 信息 pig.ExecTypeProvider：尝试 ExecType：本地 2005 年 15 月 10 日 15:23:28 信息 pig.ExecTypeProvider：选择 LOCAL 作为 ExecType 2015-10-05 15:23:28,830 [main] INFO org.apache.pig.Main - Apache Pig 版本 0.15.0 (r1682971) 编译于 2015 年 6 月 1 日，11:44:35 2015-10-05 15:23:28,831 [main] INFO org.apache.pig.Main - 将错误消息记录到：/home/nkhl/pig_1444038808829.log 2015-10-05 15:23:29,050 [main] INFO org.apache.pig.impl.util.Utils - 未找到默认启动文件 /home/nkhl/.pigbootup 2015-10-05 15:23:29,333 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - fs.default.name 已弃用。相反，使用 fs.defaultFS 2015-10-05 15:23:29,334 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - mapred.job.tracker 已弃用。相反，使用 mapreduce.jobtracker.address 2015-10-05 15:23:29,335 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - 连接到 hadoop 文件系统：file:/// 2015-10-05 15:23:29,562 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - io.bytes.per.checksum 已弃用。相反，使用 dfs.bytes-per-checksum

在我的在线导师的屏幕上看起来不一样，所以我有点困惑。

我最关心的是deprecation 部分。有人可以帮我吗？它想表达什么？不要误会我的意思，一切正常。 GRUNT shell 加载完毕，一切正常。我只是想知道这意味着什么。

这是一台 Ubuntu 机器。

谢谢！

Answer 1

如果您用于一些快速测试，则以本地方式运行 pig 非常适合 AFAIK。例如在 UDF 中显示 sysout 等。 您可以放心地忽略上述警告。这表示 conf-site.xml 中设置的某些变量已被弃用。

您可以通过编辑关闭这些参数

log4j.logger.org.apache.hadoop.conf.Configuration.deprecation

在 log4j.properties 文件中。

Answer 2

您设置了一些与 Hadoop 相关的变量，例如 HADOOP_HOME 或 HADOOP_PREFIX 或 HADOOP_CONF_DIR，如果您在本地模式下运行 Pig，则不需要这些变量。

unset HADOOP_HOME
unset HADOOP_PREFIX
unset HADOOP_CONF_DIR

弃用并不可怕。它们提醒人们，代码正在调用一些最终会在未来版本中消失的东西。这些特定的弃用是由 Hadoop 1 与 Hadoop 2 之间的差异引起的。Pig 与这两个版本兼容。如果您碰巧使用的是 Hadoop 1.2.1 而不是 2.x，您将不会看到警告。这是因为 Pig 先检查 Hadoop 1 的值。

如果您有兴趣了解更多信息，可以查看 Pig 源代码。 https://github.com/apache/pig/blob/release-0.15.0/src/org/apache/pig/backend/hadoop/executionengine/HExecutionEngine.java#L219-L222