如何处理“pandas.read_sql()”方法中时间戳的“越界”错误

Question

环境：

• 熊猫 0.20.3
• python 2.7.13

目标和问题：

我正在使用方法 pandas.read_sql() 从 SQL 中检索还包含无效时间戳 (9999-12-30 23:00:00) 值的表。 但是，这行代码会抛出错误 'Out of bounds nanosecond timestamp : 9999-12-30 23:00:00'。

在这种情况下，我该如何处理解析时间戳？

背景：

我已经检查了pandas documentation 的解决方案。但是，似乎没有相关的支持来配置时间戳解析器。

代码片段：

import pyodbc as pyo
import pandas as pd
db_conn = pyo.connect('DSN=MySQL Connection 3;',autocommit=True)
tbl_df = pd.read_sql('select * from orders',db_conn)

我希望要么解析包含无效时间戳的单元格，要么默认避免解析时间戳。

Answer 1

在 0.20.3 pandas.read_sql() 有 parse_dates : list or dict, default: None

因此，pandas 正在解析在您的数据库中找到的日期，这将是出乎意料的。

将select * from orders 删除为select col1, ..., datecol from orders 并删除datecol。会发生什么？

将datecol 更改为UNIX_TIMESTAMP(STR_TO_DATE(datecol, '%M %d %Y %h:%i'))，以便您可以将数据作为非日期时间格式提取。从那里，您可以在 Pandas 中进行转换。