为什么我在 Tez 工作中得到负分配的映射器？顶点失败？答案

【问题标题】：Why am I getting negative allocated mappers in Tez job? Vertex failure?为什么我在 Tez 工作中得到负分配的映射器？顶点失败？
【发布时间】：2017-07-17 19:39:41
【问题描述】：

我正在尝试使用 here 中记录的 PhoenixStorageHandler，并在直线外壳中使用以下查询填充它：

insert into table pheonix_table select * from hive_table;

我在 Tez 会话中得到以下映射器细分：

...
INFO  : Map 1: 0(+50)/50 
INFO  : Map 1: 0(+50)/50 
INFO  : Map 1: 0(+50,-2)/50 
INFO  : Map 1: 0(+50,-3)/50
...

在会话崩溃并出现关于顶点故障的很长的错误消息（422 行）之前：

错误：处理语句时出错：FAILED：执行错误，从 org.apache.hadoop.hive.ql.exec.tez.TezTask 返回代码 2。顶点失败，顶点名称=地图 1，顶点 ID=顶点_1499857429667_0084_2_00，诊断=[任务失败，taskId=task_1499857429667_0084_2_00_000007，诊断=[TaskAttempt 0 失败，信息=[错误：运行时失败任务：java.lang.RuntimeException：java.lang.RuntimeException：地图运算符初始化失败 [.........] 由于 OWN_TASK_FAILURE，顶点未成功，failedTasks:1killedTasks:49，顶点顶点_1499857429667_0084_2_00 [地图 1] 由于：OWN_TASK_FAILURE 而被杀死/失败]DAG 由于 VERTEX_FAILURE 未成功. failedVertices:1 killVertices:0 (state=08S01,code=2)

这个错误指的是什么？为什么会有“负映射器”？

【问题讨论】：

可能超时？

标签： hive hbase hiveql phoenix apache-tez

【解决方案1】：

负数表示失败或终止尝试的次数。格式为：

已完成（运行、失败或终止）/总计

您可以在作业跟踪器日志中查看有关某些映射器失败的原因的详细信息。

另请参阅此答案：https://stackoverflow.com/a/39144600/2700344

【讨论】：