使用 Sqoop 加载 Hive 表动态分区

Question

我有一个名为 dept 的 MySQL 表，我将其加载到 Hive EXTERNAL 表 dept 表中，作为基于时间戳列 ts 的增量附加检查列最后值。

这工作正常，现在我想根据dept_name 和ts 列将动态分区添加到我的配置单元表dept。

我知道我可以在 sqoop 之外创建表动态分区，但在将数据加载到动态分区时需要帮助。我看到了一个使用--hive-partition-key 和--hive-partition-value 的示例，但是该值是硬编码的。如果不对 hive-partition-values 进行硬编码，我可以使用 SQOOP 自动将数据加载到相应的分区，比如 (dept1,timestamp1/dept1,timestamp2..etc) 和 (dept2,timestamp1/dept2,timestamp2...etc)？

Answer 1

是的，您可以将已创建的外部表中的数据加载到动态分区表中，而无需对分区值进行硬编码。

假设您已经拥有带有值的外部表externalDept，并且您已经创建了分区表dept，您可以使用如下内容：

INSERT OVERWRITE TABLE dept 
PARTITION (dept_name, ts)
SELECT ..., ed.dept_name, ed.ts
FROM externalDept ed

这不是您的问题的一部分，但您也可以混合使用静态和动态分区。例如，如果您想为timestamp 指定一个动态值，而为dept 指定一个静态值，您可以执行以下操作：

INSERT OVERWRITE TABLE dept 
PARTITION (dept_name = 'Math', ts)
SELECT ..., ed.dept_name, ed.ts
FROM externalDept ed
WHERE ed.dept_name = 'Math'