Athena 为镶木地板文件中的时间戳字段返回错误值

Question

我在这里主要复制我在forum.aws 上看到的一个问题，希望stackoverflow 社区的答案/解释比论坛上的讨论更彻底、更有启发性。

这是我对这个问题的体验： 我使用pandas从python中的数据框制作了一个镶木地板文件，并使用pandas.to_datetime将一个字段/列说生日为datetime64[ns]。这部分过程似乎完美无缺，因为我可以使用pandas.read_parquet 读取镶木地板文件并得到我所期望的，即在 datetime 中输入的日期。 但是，当我将所述 parquet 文件加载到 AWS 并在其上放置一个 athena 表时，读取相同的生日列会产生与 parquet 文件中的日期完全不匹配的垃圾日期。例如：

t = pandas.DataFrame([['Haiti',pandas.to_datetime('1804-01-01')]],columns=['Country','Independence'])
t.to_parquet("s3://<mybucket>/tmp/t.parquet")

|Country | Independence|
|--------|-------------|
|Haiti   | 1804-01-01  |

CREATE EXTERNAL TABLE IF NOT EXISTS default.mytable (
  `Country` string,
  `Independence` timestamp 
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
WITH SERDEPROPERTIES (
  'serialization.format' = '1'
) LOCATION 's3://<mybucket>/tmp/'
TBLPROPERTIES ('has_encrypted_data'='false');

SELECT * FROM "default"."mytable" limit 10;

|Country | Independence             |
|--------|--------------------------|
|Haiti   |-164033-12-18 00:00:00.000|

Answer 1

您可以通过“coerce_timestamps”强制 to_parquet 以 Athena 能够理解的格式写入：

t = pandas.DataFrame([['Haiti',pandas.to_datetime('1804-01-01')]],columns=['Country','Independence'])
t.to_parquet("s3://<mybucket>/tmp/t.parquet", coerce_timestamps='ms')

|Country | Independence|
|--------|-------------|
|Haiti   | 1804-01-01  |

CREATE EXTERNAL TABLE IF NOT EXISTS default.mytable (
  `Country` string,
  `Independence` timestamp 
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
WITH SERDEPROPERTIES (
  'serialization.format' = '1'
) LOCATION 's3://<mybucket>/tmp/'
TBLPROPERTIES ('has_encrypted_data'='false');

SELECT * FROM "default"."mytable" limit 10;

|Country | Independence          |
|--------|-----------------------|
|Haiti   |1804-01-01 00:00:00.000|