【问题标题】:how does the query get distributed in Hive?查询如何在 Hive 中分布?
【发布时间】:2013-07-23 09:13:46
【问题描述】:

我有一个关于 Hive 查询执行的问题。

假设我有一个查询:

从 id > 5 的表中选择 *;

现在这个查询被转换成一棵树,然后分割成更小的任务并分发到具有该特定数据的数据节点。

现在,当查询被分发时,整个查询是否会分发到所有拥有数据的节点?还是只向节点发送部分查询?

如果将整个查询发送到所有节点,数据节点是只处理部分查询还是整个查询?

如果是上述情况,那么数据节点processi有什么用

【问题讨论】:

  • “当查询被分发时”是什么意思?
  • 我的意思是查询被分成小任务,对吧?当它们分布在有数据的节点之间时,会发生什么?

标签: hadoop hive hiveql


【解决方案1】:

Hive 会根据您提交的查询生成一个或多个 MapReduce 作业。 MapReduce 作业随后由 Hadoop JobTracker 根据 Hadoop 用于分配 MapReduce 作业任务的算法进行分配。

希望这会有所帮助。

【讨论】:

  • distribute tasks :即配置的Scheduler
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2019-11-16
  • 1970-01-01
相关资源
最近更新 更多