【问题标题】:How to call stored procedure with SQLAlchemy that requires a user-defined-type Table parameter如何使用需要用户定义类型表参数的 SQLAlchemy 调用存储过程
【发布时间】:2018-10-12 22:36:44
【问题描述】:

我在 MSSQL 服务器上有一个存储过程“prc_add_names”,它采用表值参数。参数本身是自定义类型“StringTable”,定义如下:

CREATE TYPE [dbo].[StringTable] AS TABLE([strValue] [nvarchar](max) NULL)

我不知道如何使用 SQLAlchemy 执行此过程。我习惯于像这样使用session.execute 调用带有参数的过程:

result = session.execute('prc_do_something :pArg', {pArg:'foo'})

但是,如果我只是将字符串列表作为参数传递,这将不起作用:

result = session.execute('prc_add_names :pArg', {pArg: ['Name One', 'Name Two']})

导致:

sqlalchemy.exc.ProgrammingError: (pymssql.ProgrammingError) (102, "Incorrect syntax near 'Name One'.DB-Lib error message 20018, severity 15:
General SQL Server error: Check messages from the SQL Server
") [SQL: 'prc_add_names %(pArg)s'] [parameters: {'pArg': ['Name One', 'Name Two']}] (Background on this error at: http://sqlalche.me/e/f405)

显然,SQLAlchemy 不将我的字符串列表理解为创建我的 StringTable 类型参数的尝试,但在谷歌搜索和阅读文档几个小时后,我还没有弄清楚我应该如何处理这个问题。

仅供参考,我无法控制此数据库,因此无法修改存储过程或其他任何内容。

编辑:我没有嫁给 SQLAlchemy。如果有其他库可以处理这个问题,我很乐意使用它。

【问题讨论】:

    标签: python sql-server sqlalchemy flask-sqlalchemy


    【解决方案1】:

    有一个真正支持 TVP 的驱动程序:Pytds。它不受官方支持,但有一个第 3 方方言实现:sqlalchemy-pytds。使用它们,您可以像这样调用您的存储过程:

    In [1]: engine.execute(DDL("CREATE TYPE [dbo].[StringTable] AS TABLE([strValue] [nvarchar](max) NULL)"))
    Out[1]: <sqlalchemy.engine.result.ResultProxy at 0x7f235809ae48>
    
    In [2]: engine.execute(DDL("CREATE PROC test_proc (@pArg [StringTable] READONLY) AS BEGIN SELECT * FROM @pArg END"))
    Out[2]: <sqlalchemy.engine.result.ResultProxy at 0x7f2358027b70>
    
    In [3]: arg = ['Name One', 'Name Two']
    
    In [4]: import pytds
    
    In [5]: tvp = pytds.TableValuedParam(type_name='StringTable',
       ...:                              rows=((x,) for x in arg))
    
    In [6]: engine.execute('EXEC test_proc %s', (tvp,))
    Out[6]: <sqlalchemy.engine.result.ResultProxy at 0x7f294e699e10>
    
    In [7]: _.fetchall()
    Out[7]: [('Name One',), ('Name Two',)]
    

    这样您可以将潜在的大量数据作为参数传递:

    In [21]: tvp = pytds.TableValuedParam(type_name='StringTable',
        ...:                              rows=((str(x),) for x in range(100000)))
    
    In [22]: engine.execute('EXEC test_proc %s', (tvp,))
    Out[22]: <sqlalchemy.engine.result.ResultProxy at 0x7f294c6e9f98>
    
    In [23]: _.fetchall()[-1]
    Out[23]: ('99999',)
    

    另一方面,如果您使用的是不支持 TVP 的驱动程序,您可以 declare a table variable,将值和 pass that as the argument 插入您的程序:

    In [12]: engine.execute(
        ...:     """
        ...:     DECLARE @pArg AS [StringTable];
        ...:     INSERT INTO @pArg VALUES {placeholders};
        ...:     EXEC test_proc @pArg;
        ...:     """.format(placeholders=",".join(["(%s)"] * len(arg))),
        ...:     tuple(arg))
        ...:     
    Out[12]: <sqlalchemy.engine.result.ResultProxy at 0x7f23580f2908>
    
    In [15]: _.fetchall()
    Out[15]: [('Name One',), ('Name Two',)]
    

    请注意,您不能使用任何 executemany 方法,否则您最终将分别为每个表值调用该过程。这就是手动构造占位符并将表值作为单独参数传递的原因。必须注意不要将任何参数直接格式化到查询中,而是要为 DB-API 设置正确数量的占位符。行值仅限于 maximum of 1000

    如果底层 DB-API 驱动程序为表值参数提供适当的支持当然会很好,但至少我找不到使用 FreeTDS 的 pymssql 的方法。 reference to TVPs on the mailing list 明确表示它们不受支持。情况是not much better for PyODBC

    免责声明:我之前没有真正使用过 MS SQL Server。

    【讨论】:

    • 我相信这会起作用,但会造成 SQL 注入漏洞。
    • 它不会产生 SQL 注入漏洞。请注意,arg 值未格式化为查询字符串,而是一堆 %s 占位符,由 DB-API 驱动程序 填充。没有百分比格式化发生手动; arg 作为第二个参数传递给execute()。它专门避免使用 SQLi。
    • 我正在研究的实际解决方案涉及大量这些名称。你知道这将如何有效地扩展到一次处理数十万个吗?我知道多行插入在常规表中超过一定数量的行时会遇到一些性能问题,但我不确定这是否也扩展到表变量。
    • 感谢您在这个问题上做了这么多工作。 Pytds 的建议绝对是正确的答案。不幸的是,我不能在我的公司使用它,所以我们最终要求数据库管理员创建一个以 XML 作为输入的新过程。
    • pyodbc 从 4.0.25 版(2018 年 12 月)开始也支持 TVP。详情请见this answer
    【解决方案2】:

    我认为您可以使用callproc() 方法并将输入参数作为列表传递。http://docs.sqlalchemy.org/en/latest/core/connections.html#calling-stored-procedures

    【讨论】:

    • 这不起作用。我收到一个错误:_mssql.MSSQLDriverException: Unable to convert value,在探索 callproc 方法的代码后,发现基本 pymssql DBAPI 模块中根本不支持序列类型参数或表值参数。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2016-01-23
    • 1970-01-01
    • 1970-01-01
    • 2018-01-31
    • 2020-01-24
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多