【问题标题】:Hive queries taking so longHive 查询需要很长时间
【发布时间】:2026-02-06 14:55:01
【问题描述】:

我有一个运行 Hive 的 CDP 环境,出于某种原因,一些查询运行得非常快,而另一些则需要 5 分钟以上才能运行,甚至是常规的 select current_timestamp 或类似的事情。 我发现我的集群使用率很低,所以我不明白为什么会这样。

如何充分利用我的集群?我在 cloudera 网站上阅读了一些帖子,但它们并没有太大帮助,毕竟调整所有的东西都是一样的。

需要注意的是,我在 hive 日志中有以下消息:

"Get Query Coordinator (AM)  350"

然后我发现执行查询的时间非常短。

我正在使用 tez,知道我可以看什么吗?

【问题讨论】:

  • 嗨,您是否更改了任何默认值?或者你是默认运行的,尤其是在纱线方面?
  • 我刚刚使用了 CDP 环境,我调整了我可以使用的所有内容:community.cloudera.com/t5/Community-Articles/…,但即使之后一切看起来都一样。
  • 您在运行查询时是否使用 tez.queue.name 设置任何队列?你的纱线默认队列设置了吗?
  • 不是真的,不是那样的

标签: hive hadoop-yarn apache-tez


【解决方案1】:

除了负责整体调优:https://community.cloudera.com/t5/Community-Articles/Demystify-Apache-Tez-Memory-Tuning-Step-by-Step/ta-p/245279

请在此处查看我对同一问题的回答Enable hive parallel processing

该帖子解释了启用并行处理所需的操作。

【讨论】:

  • 让我检查一下然后回来
  • 令人惊讶的是,文档没有明确说明,我添加了 2 个队列,将它们设置为默认值,通过使用 tez.queue.name 我现在可以使用所有查询,它们得到处理很快,谢谢你,你真的救了我的命