Hive View 查询性能：具有不同模式的联合表

Question

我有一个场景，我有两个 Hive 表，第二个基本上是第一个的进化模式（在这个例子中它有 1 个列）。

Table_A
{
business_date String
Name String
Age Number
} partitioned by business_date

Table_B {
business_date String
Name String
Age Number
Address String
} partitioned by business_date

为了从架构更改中混淆下游用户，我正在使用以下语法创建一个 Hive 视图：

Create VIEW customer_info AS 
select * from Table_B 
UNION 
select business_date, name, age, null as address from Table_A

我知道上面返回了所有数据，但是从性能的角度来看，如果对具有有效 business_date 值的视图运行查询，是否会考虑分区键？还是在使用视图时我会失去这个好处？

编辑：我应该提到 business_date 实际上是所有分区中的唯一值。这意味着，Table_A 中提供的数据不应在 Table_B 中提供。将 Table_A 视为数据的“旧版本”。 鉴于此，如果目标是从最终消费者那里抽象出架构更改，这是提供数据的最佳方法吗？

编辑#2：由于大量其他问题，无法将此数据存储在一个表中。

Answer 1

您没有在查询中使用任何分区谓词，这就是它不会进行分区修剪的原因。使用explain 命令检查这一点，它将显示应用的分区谓词。分区修剪应该适用于视图。

UNION 与UNION ALL+DISTINCT 相同。 如果适用，请改用UNION ALL，它的性能会更好。

另一方面，按独特的方式进行分区将创建单行分区，这可能会杀死您的配置单元元存储。希望你的意思是别的意思

business_date 实际上是跨所有分区的唯一值

在这种情况下去掉分区，性能会明显更好。