使用交互模式从 s3 中的制表符分隔文件创建配置单元表

Question

我已将制表符分隔的文件加载到 S3 中，该文件在存储桶下具有此类文件夹： 桶 --> se --> y=2013 --> m=07 --> d=14 --> h=00

每个子文件夹都有 1 个文件，代表我每小时的流量。

然后我创建了一个 EMR 工作流，以与 hive 交互模式运行。

当我登录到 master 并进入 hive 时，我运行这个命令：

CREATE EXTERNAL TABLE se (
id bigint,
oc_date timestamp)
partitioned by (y string, m string, d string, h string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
LOCATION 's3://bi_data';

我收到此错误消息：

失败：元数据错误：java.lang.IllegalArgumentException： 列出存储桶中的对象时必须指定存储桶名称参数

FAILED：执行错误，返回代码 1 从 org.apache.hadoop.hive.ql.exec.DDLTask

有人可以帮忙吗？

更新 即使我尝试只使用字符串字段，我也会得到同样的错误。 用字符串创建表：

CREATE EXTERNAL TABLE se (
id string,
oc_date string)
partitioned by (y string, m string, d string, h string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
LOCATION 's3://bi_data';

Hive 版本 0.8.1.8

Answer 1

所以，解决办法是我犯了两个错误：

1. 仅写入存储桶名称时，您应该在 S3 路径中添加一个斜杠。 参考here

2. 下划线也是个问题，桶名应该符合DNS。

希望我能帮助到这个人。