使用 pyarrow 将字符串时间戳转换为日期时间

【问题标题】：Converting string timestamp to datetime using pyarrow使用 pyarrow 将字符串时间戳转换为日期时间
【发布时间】：2020-12-15 19:20:14
【问题描述】：

在写入 parquet 文件之前，是否有可能将 pyarrow 表中的字符串时间戳转换为日期时间格式？

【问题讨论】：

箭头库和pyarrow库一样吗？
我认为箭头 (arrow.readthedocs.io/en/latest) 是一个用于日期、时间操作的通用库，但我说的是 pyarrow(arrow.apache.org/install)。我已经在 pyarrow 表中有我的数据。我想转换具有字符串时间戳格式的列。我正在寻找的是如何读取表格中的特定列并进行类型转换。
不能只用pythons的.format()函数吗？
您能补充一些例子吗？你在输入中得到什么，你想在输出中得到什么？

【解决方案1】：

根据时间戳格式，您可以使用pyarrow.compute.strptime 函数。它还没有很好的记录，但你可以使用这样的东西：

import pyarrow.compute as pc
pc.strptime(table.column("Timestamp"), format='%Y-%m-%d %H:%M:%S', unit='s')

假设您的数据存储在table 中，并且"Timestamp" 是带有时间戳字符串的列的名称。

【讨论】：