如何将 pandas DataFrame 直接写入 Netezza 数据库？

Question

我在 python 中有一个 pandas DataFrame，并希望将此 DataFrame 直接写入 Netezza 数据库。

我想使用here 中描述的pandas.to_sql() 方法，但似乎此方法需要使用SQLAlchemy 连接到数据库。 问题：SQLAlchemy 不支持 Netezza。 我目前用来连接数据库的是pyodbc。但另一方面，pandas.to_sql() 不理解这一点，还是我错了？

我的解决方法是通过 pandas.to_csv() 将 DataFrame 写入 csv 文件，然后通过 pyodbc 将其发送到 Netezza 数据库。

因为我有大数据，所以先写 csv 是一个性能问题。我实际上不在乎是否必须使用 SQLAlchemy 或 pyodbc 或其他东西，但我无法改变我拥有 Netezza 数据库的事实。

我知道道义论项目，但正如作者所说，它“远未完成，有很多错误”。 我得到了这个包的工作（见下面我的解决方案）。但如果有人现在有更好的解决方案，请告诉我！

我想通了。对于我的解决方案，请参阅接受的答案。

Answer 1

解决方案

我找到了一个解决方案，我想与遇到相同问题的每个人分享。 我尝试了deontologician 的 netezza 方言，但它不适用于 python3，所以我做了一个 fork 并纠正了一些编码问题。我上传到 github，它可以在 here 获得。请注意，我只是做了一些小改动，这主要是道义学家的工作，没有人维护它。

拥有 netezza 方言，我得到了 pandas.to_sql() 直接使用 Netezza 数据库：

import netezza_dialect
from sqlalchemy import create_engine

engine = create_engine("netezza://ODBCDataSourceName")

df.to_sql("YourDatabase", 
          engine,  
          if_exists='append',
          index=False,
          dtype=your_dtypes,
          chunksize=1600,
          method='multi')

对to_sql()参数的一点解释：

如果您不想永远将 pandas 写入数据库，则使用 method='multi' 参数是必要的。因为没有它，它将每行发送一个 INSERT 查询。您可以使用'multi'，也可以定义自己的插入方法。请注意，您必须至少拥有pandas v0.24.0 才能使用它。 See the docs 了解更多信息。

使用method='multi' 时，您可能会超出参数限制（至少对我来说是这样）。就我而言，它是 1600，所以我必须添加 chunksize=1600 以避免这种情况。

注意

如果您收到如下警告或错误：

C:\Users\USER\anaconda3\envs\myenv\lib\site-packages\sqlalchemy\connectors\pyodbc.py:79: SAWarning: No driver name specified; this is expected by PyODBC when using DSN-less connections
  "No driver name specified; "

pyodbc.InterfaceError: ('IM002', '[IM002] [Microsoft][ODBC Driver Manager] Data source name not found and no default driver specified (0) (SQLDriverConnect)')

然后您可能会通过以下方式连接到数据库

engine = create_engine(netezza://usr:pass@address:port/database_name)

您必须在 Windows 的 ODBC 数据源管理器工具中设置数据库，然后使用您在此处定义的名称。

engine = create_engine(netezza://ODBCDataSourceName)

那么找到驱动应该没有问题了。

Answer 2

我知道你自己已经回答了这个问题（感谢分享解决方案）

关于向 Netezza 写入大数据的一般性评论： 我总是选择将数据写入文件，然后使用外部表/ODBC 接口插入数据。您可以在同一时间范围内插入数百万行，而不是一次插入 1600 行。

我们在平面文件和 CSV 中使用 UTF8 数据，除非您要加载可能需要固定宽度文件的二进制数据。

我不是蟒蛇，但我希望你能关注我...

如果您需要文档链接，可以从这里开始：https://www.ibm.com/support/knowledgecenter/en/SSULQD_7.2.1/com.ibm.nz.load.doc/c_load_create_external_tbl_syntax.html