向 Hive 中的表添加固定值列

Question

我正在将我的猪脚本原型设计为 hive。我需要在从 Oracle 数据库导入的表中添加一个状态列。

我的猪脚本如下所示：

user_data = LOAD 'USER_DATA' USING PigStorage(',') AS (USER_ID:int,MANAGER_ID:int,USER_NAME:int);

user_data_status = FOREACH user_data GENERATE
USER_ID,
MANAGER_ID,
USER_NAME,
'active' AS STATUS;

在这里，我将具有“活动”值的 STATUS 列添加到 user_data 表中。 如何在通过 Hive QL 导入表时向现有表添加列以添加列？？

Answer 1

据我所知，您必须像在 Pig 中那样重新加载数据。 例如，如果您已经拥有包含 USER_ID:int,MANAGER_ID:int,USER_NAME:int 列的 user_data 表，并且您正在寻找 USER_ID:int,MANAGER_ID:int,USER_NAME:int, STATUS:active

您可以使用类似这样的方法重新加载表 user_data_status

INSERT OVERWRITE TABLE user_data_status SELECT *, 'active' AS STATUS FROM user_data;

虽然有向现有表添加列的选项，但这只会更新 Metastore 中的元数据，并且值将默认为 NULL。

如果我是你，我宁愿重新加载完整的数据，也不愿在更改列结构后使用 UPDATE 命令更新完整的表。希望这会有所帮助！