将 UNIX 时间戳（来回）转换为 pandas.tslib.Timestamp 和系列的日期时间答案

【问题标题】：Convert (back and forth) UNIX timestamp to pandas.tslib.Timestamp and datetime for series将 UNIX 时间戳（来回）转换为 pandas.tslib.Timestamp 和系列的日期时间
【发布时间】：2016-11-14 14:58:13
【问题描述】：

我正在使用 python 3.5.2、pandas 0.18.1 和 sqlite3。

在我的数据库中，我有一个列 unix_time 和 INT 自 1970 年以来的秒数。理想情况下，我想从 sqlite 读取我的数据框，然后创建一个对应于 datetime 的 time 列或 pandas.tslib.Timestamp 转换 unix_time 列，我将只用于一些处理，然后在保存数据帧之前删除。

问题是当解析 unix_time 列使用：

df = pd.read_from_sql_query("SELECT * FROM test", con, parse_dates=['unix_time'])

我获得了适合我处理的pandas.tslib.Timestamp 类型，但是我必须使用以下方法重新创建我原来的unix_time 列：

df['unix_time'][i] = (df['unix_time'][i] - datetime(1970,1,1)).total_seconds()

真的很“脏”

第一个问题：你有更好的方法吗？

我曾考虑放弃 unix 时间格式，只使用 datetime 格式，但 pandas 的 to_datetime 方法实际上返回了 pandas.tslib.Timestamp ...无论如何，这样做会迫使我遍历所有行是一个糟糕的解决方案。（除了数据框单个单元格的视图之外，不可能将to_datetime 应用于其他内容

第二个问题：是否可以将其应用于系列？

我最后一次尝试是直接使用df['time'] = datetime.datetime.fromtimestamp(df['unix_time'])，但令人惊讶的是，它也返回了pandas.tslib.Timestamp。

最后，知道我只能保存 unix 时间戳或日期时间，我目前唯一的选择是：

解析，但随后必须将它们转换回 unix 时间戳一。
或者不解析但必须将它们转换为pandas.tslib.Timestamp 一个接一个。

如果我能转换整个系列就好了。

最后一个问题：有没有办法将 unix 时间戳系列转换为 datetime（或至少 pandas.tslib.Timestamp），或将 pandas.tslib.Timestamp（或 datetime）系列转换为 unix时间戳？

谢谢

编辑：在处理过程中，我提取了要附加到数据集的行。显然，在从数据框传递到意甲时，对pandas.tslib.Timestamp 的覆盖会隐式附加：

df = pd.DataFrame({'UNX':pd.date_range('2016-01-01', freq='9999S', periods=10).astype(np.int64)//10**9})
df['Date'] = pd.to_datetime(df.UNX, unit='s')
print(df.Date.dtypes)
print(type(df['Date'][0]))
test = df.iloc[0]
print(type(test.Date))
new_df = test.to_frame().transpose()   #from here, impossible to do : new_df.to_sql("test", con) because the type for 'Date' is not supported
print(new_df.Date.dtypes)

datetime64[ns]
<class 'pandas.tslib.Timestamp'>
<class 'pandas.tslib.Timestamp'>
object

有没有办法将new_df 中的“日期”从pandas.tslib.Timestamp 转换为datetime64[ns] 或datetime.datetime（或只是str）？

【问题讨论】：

对于系列，您还可以使用 Series.dt.to_pydatetime 替换已弃用的 Series.to_datetime

标签： python datetime pandas unix-timestamp

【解决方案1】：

IIUC 你可以这样做：

In [96]: df = pd.DataFrame({'UNX':pd.date_range('2016-01-01', freq='9999S', periods=10).astype(np.int64)//10**9})

In [97]: df
Out[97]:
          UNX
0  1451606400
1  1451616399
2  1451626398
3  1451636397
4  1451646396
5  1451656395
6  1451666394
7  1451676393
8  1451686392
9  1451696391

将 UNIX 纪元转换为 Python 日期时间：

In [98]: df['Date'] = pd.to_datetime(df.UNX, unit='s')

In [99]: df
Out[99]:
          UNX                Date
0  1451606400 2016-01-01 00:00:00
1  1451616399 2016-01-01 02:46:39
2  1451626398 2016-01-01 05:33:18
3  1451636397 2016-01-01 08:19:57
4  1451646396 2016-01-01 11:06:36
5  1451656395 2016-01-01 13:53:15
6  1451666394 2016-01-01 16:39:54
7  1451676393 2016-01-01 19:26:33
8  1451686392 2016-01-01 22:13:12
9  1451696391 2016-01-02 00:59:51

将datetime 转换为 UNIX 纪元：

In [100]: df['UNX2'] = df.Date.astype('int64')//10**9

In [101]: df
Out[101]:
          UNX                Date        UNX2
0  1451606400 2016-01-01 00:00:00  1451606400
1  1451616399 2016-01-01 02:46:39  1451616399
2  1451626398 2016-01-01 05:33:18  1451626398
3  1451636397 2016-01-01 08:19:57  1451636397
4  1451646396 2016-01-01 11:06:36  1451646396
5  1451656395 2016-01-01 13:53:15  1451656395
6  1451666394 2016-01-01 16:39:54  1451666394
7  1451676393 2016-01-01 19:26:33  1451676393
8  1451686392 2016-01-01 22:13:12  1451686392
9  1451696391 2016-01-02 00:59:51  1451696391

检查：

In [102]: df.UNX.eq(df.UNX2).all()
Out[102]: True

【讨论】：

感谢您的澄清，它帮助我更准确地了解我的问题所在。事实上，使用这种方式一切正常。我将编辑我的问题以显示类型混乱的地方。

【解决方案2】：

Pandas 时间戳和 Unix 秒之间的往返（自 1970-01-01 起）：

date_in = pd.to_datetime("2022-04-07")
# type(date_in) is: pandas._libs.tslibs.timestamps.Timestamp
unix_seconds = date_in.value//10**9
date_out = pd.to_datetime(unix_seconds, unit="s")

输出：

date_in
Out[1]: Timestamp('2021-04-07 00:00:00')
unix_seconds
Out[2]: 1617753600
date_out
Out[3]: Timestamp('2021-04-07 00:00:00')

【讨论】：