使用 Amazon Athena 从 SageMaker 进行 SQL 查询

Question

我正在尝试使用 Athena 从 SageMaker 查询我的 s3 文件（JSON 格式）。 s3 位置如下所示：s3://name/year=2017/month=01/day=01。这里存储了一些我想用 Athena 查询的 JSON 文件。我创建了一个连接变量，接下来在变量 connection.execute("query") 我运行查询来创建表。

查询：

CREATE EXTERNAL TABLE testing (
id int

)    PARTITIONED BY (day string) ROW FORMAT  serde 'org.apache.hive.hcatalog.data.JsonSerDe' with serdeproperties ( 'paths'='id' ) LOCATION 's3://name/2018/07/';""")

接下来我运行 sql 查询：

df = pd.read_sql("SELECT * FROM default.testing WHERE day='01' LIMIT 10 ", conn)

之后我打印了 DataFrame 但我得到了一个 0 值。

JSON 看起来像这样：

{"shoe_number":43,"country_id":6.. etc

我错过了什么？

Answer 1

您需要在创建表后执行MSCK REPAIR TABLE <table name>查询以自动发现指定表位置下的分区。 SELECT 之后的查询应该会提供预期的结果。

~巴尔加瓦