【问题标题】:Can any one Clarify Queries on HIVE 0.14任何人都可以澄清关于 HIVE 0.14 的查询吗
【发布时间】:2015-05-16 05:30:45
【问题描述】:

我们在我们的应用程序中使用 Hive 0.14,当执行引擎在 MR 中时,我们能够更新 ORC 表,当我们设置执行引擎有 TEZ 并执行 insert /update /delete 时,它​​会抛出类似的异常 “”异常:org.apache.hadoop.hive.ql.lockmgr.LockException:与元存储通信时出错 杀死达格... java.io.IOException:org.apache.hadoop.hive.ql.lockmgr.LockException:与元存储通信时出错 在 org.apache.hadoop.hive.ql.exec.Heartbeater.heartbeat(Heartbeater.java:84) 在””

当我们运行具有 Group by 和 Order By 和 Summation 的数字字段的查询时,

TEZ 执行引擎在映射器编号前显示 +。执行查询时在 Hive 命令提示符中表示 + 的含义。当我们在 Hive 0.13 和 0.14 中执行查询时,我们看到了性能差异。这是预期的吗?

【问题讨论】:

    标签: hadoop hive azure-hdinsight


    【解决方案1】:

    关于您的第一个问题 - 是间歇性错误还是持续性错误?另外,您有 HDInsight 提供的默认元存储,还是使用托管的?

    Tez 中的 + 表示正在运行的任务数。 Tez 输出的模板是 Finished (+Running) tasks。

    关于性能差异,您能详细说明一下吗?您看到的性能差异有多大?这种差异是否持久?

    【讨论】:

    • 这是一个持续性错误。当执行引擎为 tez 时,我们无法执行更新
    • 您能否使用此设置作为前缀重新运行您的配置单元查询:set hive.support.concurrency=false;这将关闭 Hive 14 中的新锁定功能,并帮助我们确定是否是导致问题的原因。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2023-02-04
    • 2014-05-21
    • 1970-01-01
    • 2019-07-02
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多