parquet 如何在 S3 中存储时间戳数据？

Question

我的数据以 file_name.snappy.parquet 格式存储在 S3 中。当我在 S3 中预览此文件时，我的时间戳字段为： {"ModifiedOn": 4.535976891407963e+25}

这个字段是使用 pyspark TimestampType 创建的。当我在 Athena 表中看到此字段时，它按预期显示为 2020-04-18 21:55:41.000。但是当我尝试手动转换它时，我得到Monday, May 25, 3407 7:48:34.079 AM。 （使用https://www.epochconverter.com/） 假设此时间戳以纳秒为单位（十亿分之一秒）。

如何手动获取给定字段的正确日期？

Answer 1

我也花了一段时间才找到这个解决方案。返回的日期时间为 INT96 格式。要将其转换回儒略历日期，请关注此帖子：https://stackoverflow.com/a/58154815/1733222。