Apache Hive 未正确返回 YARN 应用程序结果答案

【问题标题】：Apache Hive Not Returning YARN Application Results CorrectlyApache Hive 未正确返回 YARN 应用程序结果
【发布时间】：2020-03-02 08:17:05
【问题描述】：

我在 AWS EC2 上运行从头开始的集群。我有一个用 S3 上的数据定义的外部表（分区）。我可以通过一个简单的 select * 语句查询此表并将结果接收到控制台：

hive> set hive.execution.engine=tez;
hive> select * from external_table where partition_1='1' and partition_2='2';
<correct results returned>

运行需要 Tez 的查询不会将结果返回到控制台：

hive> set hive.execution.engine=tez;
hive> select count(*) from external_table where partition_1='1' and partition_2='2';
Status: Running (Executing on YARN cluster with App id application_1572972524483_0012)

OK
+------+
| _c0  |
+------+
+------+
No rows selected (8.902 seconds)

但是，如果我在日志和文件系统中进行挖掘，我可以从该查询中找到结果：

(yarn.resourcemanager.log) org.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger: USER=root     OPERATION=AM Released Container TARGET=SchedulerApp     RESULT=SUCCESS  APPID=application_1572972524483_0022      CONTAINERID=container_1572972524483_0022_01_000002      RESOURCE=<memory:1024, vCores:1>        QUEUENAME=default
(container_folder/syslog_attempt) [TezChild] |exec.FileSinkOperator|: New Final Path: FS file:/tmp/<REALLY LONG FILE PATH>/000000_0
[root #] cat /tmp/<REALLY LONG FILE PATH>/000000_0
SEQ"org.apache.hadoop.io.BytesWritableorg.apache.hadoop.io.Textl▒ꩇ1som}▒▒j¹▒    2060

2060 是分区的正确计数。

现在，奇怪的是，如果我在 HDFS 上插入覆盖目录，我可以从应用程序中获取结果：

hive> set hive.execution.engine=tez;
hive> INSERT OVERWRITE DIRECTORY '/tmp/local_out' select count(*) from external_table where partition_1='1' and partition_2='2';
[root #] hdfs dfs -cat /tmp/local_out/000000_0
2060

但是，尝试插入覆盖本地目录失败：

hive> set hive.execution.engine=tez;
hive> INSERT OVERWRITE LOCAL DIRECTORY '/tmp/local_out' select count(*) from external_table where partition_1='1' and partition_2='2';
[root #] cat /tmp/local_out/000000_0
cat: /tmp/local_out/000000_0: No such file or directory

如果我为这个查询创建容器结果文件，它只是数字，没有类名或特殊字符：

[root #] cat /tmp/<REALLY LONG FILE PATH>/000000_0
2060

我能找到的唯一异常日志消息来自 YARN ResourceManager 日志：

(yarn.resourcemanager.log) INFO org.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger: USER=root     OPERATION=AM Released Container TARGET=SchedulerApp     RESULT=SUCCESS  APPID=application_1572972524483_0023      CONTAINERID=container_1572972524483_0023_01_000004      RESOURCE=<memory:1024, vCores:1>        QUEUENAME=default
(yarn.resourcemanager.log) WARN org.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger: USER=root     IP=NMIP   OPERATION=AM Released Container TARGET=Scheduler        RESULT=FAILURE    DESCRIPTION=Trying to release container not owned by app or with invalid id.    PERMISSIONS=Unauthorized access or invalid container    APPID=application_1572972524483_0023    CONTAINERID=container_1572972524483_0023_01_000004

基于最模糊的印象，我的猜测是当结果写入本地文件系统时存在字符编码问题（因此容器结果文件中的特殊字符）但这实际上只是一个猜测，我不知道如何验证/解决该问题。非常感谢任何帮助！

【问题讨论】：

标签： hadoop hive hadoop-yarn apache-tez

【解决方案1】：

Apache Hive 邮件列表中的某个人认为这是由 YARN 容器将其结果文件写入运行它的本地计算机而不是 HDFS 造成的。我在源代码中做了一些挖掘，发现：

mapreduce.framework.name=local

这是 Hadoop 3.2.1 中的默认设置，导致了问题。

解决方法：

set mapreduce.framework.name=yarn

【讨论】：

你在哪里改变了这个值？在纱线集群上还是在配置单元上的纱线客户端上？
@Kiwy 您可以将其设置在配置文件 (mapred-site.xml) 中或将其包含在查询中以在 Hive 会话中进行设置，这就是此答案的作用。
好的，我不明白为什么它不起作用，但是我在 mapred-site.xml 中的配置被评论了，然后就不起作用了……非常感谢。

【解决方案2】：

您如何将数据插入配置单元表？ Hive 从 Metastore 提供 count(*) 结果，而不是运行计数作业以优化性能。首先在这个表上尝试 MSCK 修复，让 hive 知道新的外部文件并相应地修改 hive 元存储。

【讨论】：