在 HIVE 上动态分区 + CREATE AS答案

【问题标题】：Dynamic Partitioning + CREATE AS on HIVE在 HIVE 上动态分区 + CREATE AS
【发布时间】：2014-02-24 00:24:28
【问题描述】：

我正在尝试使用 CREATE AS 和 HiveCLI 上的动态分区从另一个表创建一个新表。我正在从 Hive 官方 wiki 学习，那里有这个例子：

 CREATE TABLE T (key int, value string) 
 PARTITIONED BY (ds string, hr int) AS
 SELECT key, value, ds, hr+1 hr1 
   FROM srcpart 
   WHERE ds is not null 
   And hr>10;

但是我收到了这个错误：

失败：SemanticException [错误 10065]：

CREATE TABLE AS SELECT 命令无法指定目标表的列列表

来源：https://cwiki.apache.org/confluence/display/Hive/DynamicPartitions#DynamicPartitions-Syntax

【问题讨论】：

标签： mysql sql hadoop hive database-partitioning

【解决方案1】：

由于您已经知道目标表的完整架构，请先尝试创建它并使用 LOAD DATA 命令填充它：

SET hive.exec.dynamic.partition.mode=nonstrict;

CREATE TABLE T (key int, value string) 
PARTITIONED BY (ds string, hr int);

INSERT OVERWRITE TABLE T PARTITION(ds, hr) 
SELECT key, value, ds, hr+1 AS hr 
   FROM srcpart 
   WHERE ds is not null 
   And hr>10;

注意：由于您正在执行完整的动态分区插入，因此需要 set 命令。

【讨论】：

是的，我做到了，这似乎是最好和独特的解决方案
如果您不已经知道目标表的完整架构，那么最好的方法是什么？是否可以仅使用 hive 查询从未分区的表生成分区表？
show create table <schema.table>; @Noah 将为您提供架构，您应该编写架构并明确列出 DDL 和 SELECT 语句中的列。了解更多工作，但懒惰的开发实践不了解。

【解决方案2】：

SET hive.exec.dynamic.partition.mode=nonstrict;

CREATE TABLE T (key int, value string) 
PARTITIONED BY (ds string, hr int);

INSERT OVERWRITE TABLE T PARTITION(ds, hr) 
SELECT key, value, ds, hr+1 AS hr 
FROM srcpart 
WHERE ds is not null 
      And hr>10;

在上面的代码中，代替Create 语句使用：CREATE TABLE T like srcpart;

如果分区相似。

【讨论】：