使用 sqlalchemy 设置配置属性的正确方法？

Question

我有一个脚本，它使用PyHive 和 SQLAlchemy 在 Hive 集群上执行一些 ETL。我的一部分工作如下所示：

hivecon = hive_engine.raw_connection()
hivecur = hivecon.cursor()

...

hivecur.execute(""" <some query> """)
hivecur.execute(""" set hive.tez.container.size=5120 """)
hivecur.execute(""" <some other query> """)

我的最后一个查询失败，查看日志我确定容器大小从未正确设置。有没有更好的方法来动态更改会话变量？

Answer 1

看来正确的做法是使用connect_args：

找到here:

create_engine(
    'hive://user@host:10000/database',
    connect_args={'configuration': {'hive.exec.reducers.max': '123'}},
)

有一个对应的configuration 指令用于 DB-API 连接。