覆盖 hive 表时备份 hdfs 分区数据

Question

我有一个外部表，分区为 3 列并存储在 hdfs 中：

/apps/var/db_name/table_name/date=1901/ref_src=src_a
/apps/var/db_name/table_name/date=1901/ref_src=src_b
/apps/var/db_name/table_name/date=1902/ref_src=src_a
/apps/var/db_name/table_name/date=1902/ref_src=src_b
/apps/var/db_name/table_name/date=1903/ref_src=src_a
/apps/var/db_name/table_name/date=1903/ref_src=src_b
/apps/var/db_name/table_name/date=1903/ref_src=src_c

table_name 中的字段：

date|ref_src|col_a|col_b|

现在，根据一些要求，我必须创建新列 - col_c 和 col_d。 所以，我计划了一些程序来将计算的数据覆盖到同一个表中。 但是，我触发了问题/问题，如果我的程序运行时出现任何问题导致表数据损坏或删除或我的程序有问题怎么办？

所以，我的主要问题是如何对 hdfs 数据（平均表数据）和分区详细信息进行表备份。 如果我将完整目录作为备份将有所帮助或其他任何我需要注意的事项，我主要关心的是产品数据。

Answer 1

您可以复制文件夹以用作备份。如果您的数据以 parquet 格式存储（例如），您始终可以恢复这些文件夹并在它们之上创建另一个外部表。该外部表也可用于提供其他原始表，以将默认值分配给新字段，例如

insert into table_with_new_cols select r.*, 'col_c value' col_c, 'col_d value' col_d from restored_external_table r

如果table_with_new_cols 为空，则该查询有效（避免重复）