如果我在 hive 的所有列上使用 distinct，将运行多少个 reducer？答案

【问题标题】：How many number of reducers will be running if I use distinct on all columns in hive?如果我在 hive 的所有列上使用 distinct，将运行多少个 reducer？
【发布时间】：2018-10-18 01:45:47
【问题描述】：

我正在运行一个配置单元查询，其中对所有选定的列都应用了 distinct，我注意到有几个 reducer 正在启动以运行相同的查询。谁能解释一下背后的原因？

 Example query:

> SELECT distinct
       seg.col1,
       seg.col2,
       seg.col3
FROM user.ag_user seg
Where ‘2018-05-06’ between start_date and end_date limit 5;

【问题讨论】：

标签： hadoop hive reducers tez

【解决方案1】：

这可能比 x 查询导致 y reducer 稍微复杂一些

这个答案更详细地涵盖了默认情况（比我做得更好）

Default number of reducers

【讨论】：