使用 pandas 将时间戳插入 bigquery 表

Question

我在 Google bigquery 中有一个表，其中一列设置为数据类型时间戳。

我必须使用 pandas 的 to_gbq 函数插入数据。

如果我将数据类型设置为字符串而不是时间戳，则数据将加载到表中。

但我希望该列是时间戳数据类型。

如何将数据帧的列类型转换为与 Google bigquery 兼容的时间戳。

错误

表架构

Answer 1

时间戳存储为int64 数据类型或int，因此如果您想以这种方式对其进行格式化，可以将您的列转换为pandas 中的这种数据类型。

import numpy as np
import pandas as pd
df.COLUMN_OBJECT = df.COLUMN_OBJECT.astype(np.int64)
df.COLUMN_DATETIME = df.COLUMN_DATETIME.apply(lambda x: x.timestamp).astype(np.int64)

时间戳可以以秒、毫秒或 ns 为单位。