Hive，如何按具有空值的列进行分区，将所有空值放在一个分区中

Question

我正在使用 Hive，IDE 是 Hue。我正在尝试为我的分区键选择不同的组合键。

我原表的定义如下：

CREATE External Table `my_hive_db`.`my_table`(
    `col_id` bigint,
    `result_section__col2` string,
    `result_section_col3` string ,
    `result_section_col4` string,
    `result_section_col5` string,
    `result_section_col6__label` string,
    `result_section_col7__label_id` bigint ,
    `result_section_text` string ,
    `result_section_unit` string,
    `result_section_col` string ,
    `result_section_title` string,
    `result_section_title_id` bigint,
    `col13` string,
    `timestamp` bigint,
    `date_day` string
    )
    PARTITIONED BY ( 
      `date_year` string, 
      `date_month` string)
    ROW FORMAT SERDE 
      'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
    STORED AS INPUTFORMAT 
      'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat' 
    OUTPUTFORMAT 
      'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
    LOCATION
      's3a://some/where/in/amazon/s3'; 

以上代码运行正常。但是当我使用 date_day 作为分区键创建一个新表时，该表是空的，我需要运行 MSCK 修复表。但是，我收到以下错误：

编译语句时出错：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.ddl.DDLTask

分区键为date_year、date_month时，MSCK正常工作。

我收到错误的表的表定义如下：

CREATE External Table `my_hive_db`.`my_table`(
    `col_id` bigint,
    `result_section__col2` string,
    `result_section_col3` string ,
    `result_section_col4` string,
    `result_section_col5` string,
    `result_section_col6__label` string,
    `result_section_col7__label_id` bigint ,
    `result_section_text` string ,
    `result_section_unit` string,
    `result_section_col` string ,
    `result_section_title` string,
    `result_section_title_id` bigint,
    `col13` string,
    `timestamp` bigint,
    `date_year` string, 
    `date_month` string
  )
    PARTITIONED BY (
     `date_day` string)
    ROW FORMAT SERDE 
      'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
    STORED AS INPUTFORMAT 
      'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat' 
    OUTPUTFORMAT 
      'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
    LOCATION
      's3a://some/where/in/amazon/s3'; 

在此之后，以下查询为空：

Select * From `my_hive_db`.`my_table` Limit 10;

因此我运行了以下命令：

MSCK REPAIR TABLE `my_hive_db`.`my_table`;

我收到错误：编译语句时出错：FAILED：执行错误，从 org.apache.hadoop.hive.ql.ddl.DDLTask 返回代码 1

我检查了this link，因为这正是我遇到的错误，但使用提供的解决方案：

set hive.msck.path.validation=ignore;
MSCK REPAIR TABLE table_name;

我得到一个不同的错误：

处理语句时出错：无法在运行时修改 hive.msck.path.validation。它不在允许在运行时修改的参数列表中。

我认为我收到这些错误的原因是有超过 2 亿条 date_day 具有空值的记录。

有 31 个不同的 date-day not null 值。 我想用 32 个分区对我的表进行分区，每个分区都有一个不同的 date_day 字段值，并且所有空值都进入不同的分区。有没有办法这样做（按具有空值的列分区）？

如果这可以通过spark实现，我也愿意使用。

这是通过重新创建表来更改分区键的更大问题的一部分in this link in answer to my other question。

感谢您的帮助。

Answer 1

您似乎不明白 Hive 的分区是如何工作的。 Hive 将数据存储到 HDFS（或 S3，或其他一些分布式文件夹）上的文件中。 如果您创建一个名为my_schema.my_table 的非分区拼花表，您将看到在您的分布式存储中存储的文件夹中的文件

hive/warehouse/my_schema.db/my_table/part_00001.parquet
hive/warehouse/my_schema.db/my_table/part_00002.parquet
...

如果您创建一个按列p_col 分区的表，文件将如下所示

hive/warehouse/my_schema.db/my_table/p_col=value1/part_00001.parquet
hive/warehouse/my_schema.db/my_table/p_col=value1/part_00002.parquet
...
hive/warehouse/my_schema.db/my_table/p_col=value2/part_00001.parquet
hive/warehouse/my_schema.db/my_table/p_col=value2/part_00002.parquet
...

MSCK repair table 命令允许您在创建外部表时自动重新加载分区。

假设您在 s3 上有如下所示的文件夹：

hive/warehouse/my_schema.db/my_table/p_col=value1/part_00001.parquet
hive/warehouse/my_schema.db/my_table/p_col=value2/part_00001.parquet
hive/warehouse/my_schema.db/my_table/p_col=value3/part_00001.parquet

你创建一个外部表

CREATE External Table my_schema.my_table(
   ... some columns ...
)
PARTITIONED BY (p_col STRING)

表将被创建但为空，因为 Hive 尚未检测到分区。您运行 MSCK REPAIR TABLE my_schema.my_table，Hive 将识别出您的分区 p_col 与 s3 (/p_col=value1/) 上的分区方案匹配。

据我从your other question 了解到，您正试图通过这样做来更改表的分区方案

CREATE External Table my_schema.my_table(
   ... some columns ...
)
PARTITIONED BY (p_another_col STRING)

您收到一条错误消息，因为 p_another_col 与 s3 中使用的列 p_col 不匹配。 而且这个错误是完全正常的，因为你所做的没有意义。

如the other question's answer 中所述，您需要使用不同的分区方案创建第一个表的副本。

你应该尝试这样的事情：

CREATE External Table my_hive_db.my_table_2(
    `col_id` bigint,
    `result_section__col2` string,
    `result_section_col3` string ,
    `result_section_col4` string,
    `result_section_col5` string,
    `result_section_col6__label` string,
    `result_section_col7__label_id` bigint ,
    `result_section_text` string ,
    `result_section_unit` string,
    `result_section_col` string ,
    `result_section_title` string,
    `result_section_title_id` bigint,
    `col13` string,
    `timestamp` bigint,
    `date_year` string, 
    `date_month` string
)
PARTITIONED BY (`date_day` string)

然后使用动态分区填充新表

INSERT OVERWRITE TABLE my_hive_db.my_table_2 PARTITION(date_day)
SELECT 
  col_id,
  result_section__col2,
  result_section_col3,
  result_section_col4,
  result_section_col5,
  result_section_col6__label,
  result_section_col7__label_id,
  result_section_text,
  result_section_unit,
  result_section_col,
  result_section_title,
  result_section_title_id,
  col13,
  timestamp,
  date_year,
  date_month,
  date_day
FROM my_hive_db.my_table_1