AWS Amazon Athena 无法使用 BOOLEAN 字段对数据进行分区

Question

我正在尝试使用布尔字段对 Amazon Athena 上的数据进行分区，但它似乎不起作用。

我的数据（JSON 格式）如下所示：

{
    "name": "apple",
    "size": "L",
    "color": "red",
    "fruit": true
}

or

{
    "name": "brocolis",
    "size": "L",
    "color": "green",
    "fruit": false
}

我在 Amazon athena 上创建的表如下：

CREATE EXTERNAL TABLE fruits (
  name string, 
  color string, 
  size string
)
PARTITIONED BY (fruit boolean)
ROW FORMAT SERDE 
  'org.openx.data.jsonserde.JsonSerDe' 
LOCATION
  's3://bucket-for-athena-test/'

然后我尝试像这样创建第一个分区：

ALTER TABLE fruits ADD PARTITION (fruit = true) LOCATION 's3://bucket-for-athena-test/fruits/'

我收到一条错误消息：

Your query has the following error(s):

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:One or more parameter values were invalid: An AttributeValue may not contain an empty string (Service: AmazonDynamoDBv2; Status Code: 400; Error Code: ValidationException; Request ID: FI07HJFNAKH3HLUU5DATP2G4LJVV4KQNSO5AEMVJF66Q9ASUAAJG))

This query ran against the "fruits_database" database, unless qualified by the query. Please post the error message on our forum or contact customer support with Query Id: 3aa0434e-b492-4090-8dd6-24e498a0e1fa.

有人可以帮帮我吗？

提前谢谢你。

Answer 1

来源错误是：

一个或多个参数值无效：AttributeValue 不能包含空字符串

这意味着在不存在的列（属性值）上尝试了分区查询。

分区查询中指定的列名是'fruit'。

但是，名为 'fruit' 的列未在表结构中定义。这是错误的根本原因。

如何解决问题？

修复可以通过两种方式完成 -

1. 对表结构中存在的列名之一运行分区查询（例如：颜色）

2. 更改表结构以将“fruit”作为列包含。

Answer 2

Athena 使用的分区样式来源于 Hive 样式。您不能根据实际数据创建将分区列作为列的表。相反，这个分区应该是您位置的一部分，例如在您的情况下，s3 路径应该是 's3://bucket-for-athena-test/fruit=mango' 或 's3://bucket-for-athena-test/fruit=apple' 之类的东西。

所以这条路径's3://bucket-for-athena-test/fruit=mango' 将包含所有芒果的数据，而's3://bucket-for-athena-test/fruit=apple' 将包含苹果。

当您在此表上运行查询时，应用像select * from table where fruit = 'mango' 这样的过滤器，这将只扫描芒果数据，而其他文件夹不受影响。这是分区的实际好处，它跳过扫描不必要的数据。

要了解有关分区的更多信息，请参阅this。

因此，如果您想从普通表创建分区表，那么您可以使用 CTAS 示例，如图所示 here

CREATE TABLE fruits_partitioned 
WITH (
     format = 'TEXTFILE',  
     external_location = 's3://bucket-for-athena-test/', 
     partitioned_by = ARRAY['fruit']) 
AS SELECT column1, column2, column3, fruit
FROM fruit_unpartitioned;