分区列等于 Hive 中的当前日期

Question

我正在尝试使用分区将数据加载到 Hive 表中。

代码如下：

CREATE EXTERNAL TABLE URL(url STRING, clicks INT)
COMMENT 'Unique Clicks per URL'
PARTITIONED BY(dt STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE
LOCATION '/mypath/URL';

LOAD DATA INPATH '/inputpath/' INTO TABLE URL
PARTITION (dt=date_format(CURRENT_TIMESTAMP, "yyyy.MM.dd HH:mm:ss"));

我遇到以下错误：

FAILED: ParseException line 4:14 cannot recognize input near 
'date_format' '(' 'CURRENT_TIMESTAMP' in constant

我尝试过使用

SET hive.exec.dynamic.partition.mode=nonstrict;

但没有任何改变。

为什么它不起作用？ 如何将当前日期设置为分区列？

提前谢谢你。

洛伦佐

Answer 1

既然可以在文件之上创建外部表，为什么还要移动文件？
LOAD DATA INPATH 只是将文件（HDFS 元数据操作）“按原样”移动到表的位置.

分区列明明是日期，为什么要定义为字符串？

CREATE EXTERNAL TABLE URL ... PARTITIONED BY(dt DATE) ...

您为什么要尝试使用非 ISO 格式 (yyyy.MM.dd)？
ISO 日期格式为 yyyy-MM-dd

---

由于分区信息似乎不是数据的一部分，因此您有 3 个选项：

1.
使用常量（不允许使用表达式，包括函数），例如

LOAD DATA INPATH '/inputpath/' INTO TABLE URL PARTITION (dt=date '2017-03-04');

2.
创建一个额外的表URL_STG，类似于URL，但没有分区，并使用它来动态插入分区。

set hive.exec.dynamic.partition.mode=nonstrict;

insert into URL select *,current_date from URL_STG; 

3.

从 CLI 将日期作为变量提供

hive --hivevar dt=$(date +"%Y-%m-%d") -e \
'LOAD DATA INPATH '\''/inputpath/'\'' INTO TABLE URL PARTITION (dt=date '\''${hivevar:dt}'\'')'