【问题标题】:Hive Vertex failed: killed/failed due to:ROOT_INPUT_INIT_FAILURE Caused by: java.lang.NullPointerExceptionHive Vertex 失败:由于:ROOT_INPUT_INIT_FAILURE 导致被杀死/失败:java.lang.NullPointerException
【发布时间】:2017-02-14 21:09:37
【问题描述】:

我正在查询一个表,一个简单的计数(*)并收到以下错误:

Vertex failed, vertexName=Map 1, vertexId=vertex_1486982569467_0809_3_00, diagnostics=[Vertex vertex_1486982569467_0809_3_00 [Map 1] killed/failed due to:ROOT_INPUT_INIT_FAILURE, Vertex Input: table_name initializer failed, vertex=vertex_1486982569467_0809_3_00 [Map 1], java.lang.RuntimeException: serious problem
    at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.generateSplitsInfo(OrcInputFormat.java:1172)
    at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.getSplits(OrcInputFormat.java:1199)
    at org.apache.hadoop.hive.ql.io.HiveInputFormat.addSplitsForGroup(HiveInputFormat.java:307)
    at org.apache.hadoop.hive.ql.io.HiveInputFormat.getSplits(HiveInputFormat.java:409)
    at org.apache.hadoop.hive.ql.exec.tez.HiveSplitGenerator.initialize(HiveSplitGenerator.java:155)
    at org.apache.tez.dag.app.dag.RootInputInitializerManager$InputInitializerCallable$1.run(RootInputInitializerManager.java:273)
    at org.apache.tez.dag.app.dag.RootInputInitializerManager$InputInitializerCallable$1.run(RootInputInitializerManager.java:266)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1724)
    at org.apache.tez.dag.app.dag.RootInputInitializerManager$InputInitializerCallable.call(RootInputInitializerManager.java:266)
    at org.apache.tez.dag.app.dag.RootInputInitializerManager$InputInitializerCallable.call(RootInputInitializerManager.java:253)
    at java.util.concurrent.FutureTask.run(FutureTask.java:262)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.NullPointerException
    at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat$BISplitStrategy.getSplits(OrcInputFormat.java:650)
    at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.generateSplitsInfo(OrcInputFormat.java:1161)
    ... 15 more

查询:select count(*) from table_name;

不确定是什么问题,因为我有一个每天填充此表的作业设置。但它在几天前就停止了。

【问题讨论】:

  • 你能发布你的代码吗?
  • 将查询添加到帖子中。
  • 我的意思是你的代码不是你的代码的一小部分查询,发布导致这个问题的部分:)
  • 问题不在于您的查询,而在于您的代码
  • 我在 hive 上运行上述查询时收到此错误。

标签: java hadoop mapreduce hive


【解决方案1】:

这是因为创建表是为了读取 orc 文件,但表位置中的实际文件是其他格式,例如文本。它期待 ORC 文件,但接收到其他内容。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2017-05-24
    • 2010-09-20
    • 2021-01-18
    • 1970-01-01
    • 2021-05-02
    • 2015-11-02
    • 1970-01-01
    相关资源
    最近更新 更多