使用 PYODBC 从 pandas 获取数据到 SQL 服务器

Question

我试图了解 python 如何将数据从 FTP 服务器提取到 pandas 中，然后将其移动到 SQL 服务器中。我的代码至少可以说是非常简陋的，我正在寻找任何建议或帮助。我曾尝试先从 FTP 服务器加载数据，但效果很好。...服务器似乎引起了问题。

import pyodbc
import pandas
from ftplib import FTP
from StringIO import StringIO
import csv

ftp = FTP ('ftp.xyz.com','user','pass' )
ftp.set_pasv(True)
r = StringIO()
ftp.retrbinary('filname.csv', r.write)

pandas.read_table (r.getvalue(), delimiter=',')


connStr = ('DRIVER={SQL Server Native Client 10.0};SERVER=localhost;DATABASE=TESTFEED;UID=sa;PWD=pass')
conn = pyodbc.connect(connStr)

cursor = conn.cursor()
cursor.execute("INSERT INTO dbo.tblImport(Startdt, Enddt, x,y,z,)" "VALUES                  (x,x,x,x,x,x,x,x,x,x.x,x)")
cursor.close()
conn.commit()
conn.close()
print"Script has successfully run!"

当我删除 ftp 代码时，它可以完美运行，但我不明白如何进行下一次跳转以将其导入 Microsoft SQL 服务器，或者即使可以不先保存到文件中。

Answer 1

以下是使用sqlalchemy 对我有用的方法。注意最后一部分?driver=SQL+Server'。

import sqlalchemy
import pyodbc
engine = sqlalchemy.create_engine('mssql+pyodbc://MyUser:MyPWD@dataserver.sandbox.myserver/MY_DB?driver=SQL+Server')
dt.to_sql("PatientResultTest", engine,if_exists='append')

SQL表的开头需要一个index列来存储dataframe的索引值。

Answer 2

这在 Python 3.5.2 上对我有用：

import sqlalchemy as sa
import urllib
import pyodbc

conn= urllib.parse.quote_plus('DRIVER={ODBC Driver 17 for SQL Server};SERVER='+server+';DATABASE='+database+';UID='+username+';PWD='+ password)
engine = sa.create_engine('mssql+pyodbc:///?odbc_connect={}'.format(conn))

frame.to_sql("myTable", engine, schema='dbo', if_exists='append', index=False, index_label='myField')

Answer 3

是的，bcp 实用程序似乎是大多数情况下的最佳解决方案。

如果你想留在 Python 中，下面的代码应该可以工作。

from sqlalchemy import create_engine
import urllib
import pyodbc

quoted = urllib.parse.quote_plus("DRIVER={SQL Server};SERVER=YOUR\ServerName;DATABASE=YOur_Database")
engine = create_engine('mssql+pyodbc:///?odbc_connect={}'.format(quoted))

df.to_sql('Table_Name', schema='dbo', con = engine, chunksize=200, method='multi', index=False, if_exists='replace')

不要避开method='multi'，因为它显着减少了任务执行时间。

有时您可能会遇到以下错误。

ProgrammingError: ('42000', '[42000] [Microsoft][ODBC SQL Server Driver][SQL Server]传入的请求参数太多。这 服务器最多支持 2100 个参数。减少数量 参数并重新发送请求。 (8003) (SQLExecDirectW)')

在这种情况下，请确定数据框中的列数：df.shape[1]。将支持的最大参数数除以该值，并使用结果的下限作为块大小。

Answer 4

使用 LocalDB SQL 实例的 Python3 版本：

from sqlalchemy import create_engine
import urllib
import pyodbc
import pandas as pd

df = pd.read_csv("./data.csv")

quoted = urllib.parse.quote_plus("DRIVER={SQL Server Native Client 11.0};SERVER=(localDb)\ProjectsV14;DATABASE=database")
engine = create_engine('mssql+pyodbc:///?odbc_connect={}'.format(quoted))

df.to_sql('TargetTable', schema='dbo', con = engine)

result = engine.execute('SELECT COUNT(*) FROM [dbo].[TargetTable]')
result.fetchall()

Answer 5

我发现当您拥有大型数据集时，使用 bcp 实用程序 (https://docs.microsoft.com/en-us/sql/tools/bcp-utility) 效果最好。我有 270 万行以 80K 行/秒的速度插入。您可以将数据框存储为 csv 文件（如果您的数据没有制表符和 utf8 编码，则使用制表符作为分隔符）。使用 bcp，我使用了格式“-c”，到目前为止它没有问题。

Answer 6

对于“写入 sql server”部分，您可以使用 pandas 方便的 to_sql 方法（因此无需遍历行并手动进行插入）。请参阅有关使用 pandas 与 SQL 数据库进行交互的文档：http://pandas.pydata.org/pandas-docs/stable/io.html#io-sql

您至少需要 pandas 0.14 才能运行此功能，还需要安装 sqlalchemy。举个例子，假设df 是你从read_table 得到的DataFrame：

import sqlalchemy
import pyodbc
engine = sqlalchemy.create_engine("mssql+pyodbc://<username>:<password>@<dsnname>")

# write the DataFrame to a table in the sql database
df.to_sql("table_name", engine)

另请参阅documentation page of to_sql。
更多关于如何使用 sqlalchemy 为带有 pyobdc 的 sql server 创建连接引擎的信息，您可以在这里找到：http://docs.sqlalchemy.org/en/rel_1_1/dialects/mssql.html#dialect-mssql-pyodbc-connect

---

但如果您的目标只是将 csv 数据导入 SQL 数据库，您也可以考虑直接从 SQL 中执行此操作。参见例如Import CSV file into SQL Server