Hive 查询作为 Map only 作业执行

Question

我最近遇到一个问题

所有 Hive 查询都会被转换成 map 和 reduce 作业吗？

我知道 Hive 查询被转换为一系列 Map Reduce 作业。我不是在谈论在 Hive 中调用外部脚本。 是否存在不需要reduce作业并且Hive可以通过Map作业本身获得结果的情况。

你有什么想法？

Answer 1

是的。这仅取决于您正在运行的作业类型。

例如，如果您有一个带有架构（名称、id、部门）的员工表。

以下查询运行仅地图作业。 Mapper 从 hive 表中接收 (Name, id, department) 作为值，并发出 Name , Nullwritable 。 因此在这种情况下我们不需要 reducer。

select Name from employee;