【问题标题】:SQLAlchemy execute query but does not update despite raw query working fine in a SQL IDESQLAlchemy 执行查询但不更新,尽管原始查询在 SQL IDE 中工作正常
【发布时间】:2021-02-14 09:59:53
【问题描述】:

我有一个在 SQL 编辑器中运行良好的查询:

UPDATE users mu 
JOIN (SELECT 
        min.user_id as user_id, 
        (max.total_followers - min.total_followers) as progression
    FROM(select user_id, measurement_date, total_followers
    from followers_totals ft 
        where measurement_date = (select max(measurement_date) from followers_totals as f where f.user_id = ft.user_id
        and date_format(ft.measurement_date, '%%Y-%%m-%%d') >= date_format(date_sub(CURDATE(), interval 7 day), '%%Y-%%m-%%d'))) max
    JOIN (select user_id, measurement_date, total_followers
        from followers_totals ft 
        where measurement_date = (select min(measurement_date) from followers_totals as f where f.user_id = ft.user_id
        and date_format(ft.measurement_date, '%%Y-%%m-%%d') >= date_format(date_sub(CURDATE(), interval 7 day), '%%Y-%%m-%%d'))) min
    ON max.user_id = min.user_id
    WHERE min.user_id = '123456' and max.user_id = '123456') progression 
ON progression.user_id = mu.user_id
SET mu.followers_count_progress_7D = progression.progression
WHERE progression.user_id is not null;

我尝试使用执行函数从 SQLAlchemy 执行相同的查询:

import sqlalchemy
from sqlalchemy import create_engine, Table, MetaData, exc

eng = create_engine('mysql://xxxxxxxxxxxxxxxxxxxxxxxxxxxx')
con = eng.connect()    

try:
    query = """UPDATE users mu 
                JOIN (SELECT 
                        min.user_id as user_id, 
                        (max.total_followers - min.total_followers) as progression
                    FROM(select user_id, measurement_date, total_followers
                    from followers_totals ft 
                        where measurement_date = (select max(measurement_date) from followers_totals as f where f.user_id = ft.user_id
                        and date_format(ft.measurement_date, '%%Y-%%m-%%d') >= date_format(date_sub(CURDATE(), interval 7 day), '%%Y-%%m-%%d'))) max
                    JOIN (select user_id, measurement_date, total_followers
                        from followers_totals ft 
                        where measurement_date = (select min(measurement_date) from followers_totals as f where f.user_id = ft.user_id
                        and date_format(ft.measurement_date, '%%Y-%%m-%%d') >= date_format(date_sub(CURDATE(), interval 7 day), '%%Y-%%m-%%d'))) min
                    ON max.user_id = min.user_id
                    WHERE min.user_id = '123456' and max.user_id = '123456') progression 
                ON progression.user_id = mu.user_id
                SET mu.followers_count_progress_7D = progression.progression
                WHERE progression.user_id is not null;"""
    rs = con.execute(query)
    print(rs)
except exc.SQLAlchemyError as e:
    print (e)

不返回异常,并且 print(rs) 会按预期返回代理。 但是,在使用 SQL 编辑器更新数据库时,不会使用 SQLAlchemy 更新数据库。 SQL Alchemy 是否不支持我的查询的某些部分?

我最初认为这将是日期格式中 % 的转义,但不同的测试表明,使用这种转义写作更简单的查询可以按预期运行。

编辑:按照上面的建议在引擎创建中使用 echo=True 后,我可以看到查询格式被保留,提交完成。我将 echo 的输出复制粘贴到 sql 编辑器,查询运行良好,但使用 sqlalchemy 它根本不会更新。

EDIT2:尝试添加 autocommit=True 并得到相同的结果.... 日志显示:

2021-02-14 11:21:21,387 INFO sqlalchemy.engine.base.Engine ()
2021-02-14 11:21:21,389 INFO sqlalchemy.engine.base.Engine UPDATE users mu 
                JOIN (
                    SELECT min.user_id as user_id, 
                        (max.total_followers - min.total_followers) as progression 
                    FROM(
                        select user_id, measurement_date, total_followers 
                 ....
                ON progression.user_id = mu.user_id 
                SET mu.followers_count_progress_7D = progression.progression 
                WHERE progression.user_id is not null;
2021-02-14 11:21:21,389 INFO sqlalchemy.engine.base.Engine ()
2021-02-14 11:21:21,393 INFO sqlalchemy.engine.base.Engine COMMIT
0

用于连接的用户拥有所有权限:

GRANT ALL ON *.* TO 'user1'@'%';

在 SQLAlchemy 上运行的更简单的更新查询实际上正在运行。

编辑 3: 有趣的是,这似乎只发生在某些 id 上,但不是全部。依赖 ID 的东西如何远程工作而不是本地工作......?

【问题讨论】:

  • 我对 SQLAlchemy 一无所知,但我会要求 MySQL 记录查询,以便您可以将其与您发送的查询进行比较(差异)。见dev.mysql.com/doc/refman/8.0/en/log-destinations.html
  • 无法将其添加为注释,因为 0 rep,但您可以将 echo=True 添加到 create_engine 以调试查询。此外,不确定这是否会产生影响,但您可以尝试关闭连接,如果默认情况下不这样做,则应该强制提交并刷新更改(也许它不适用于更大的查询?)。
  • 谢谢,这有帮助。回声向我显示了完全相同的查询,所以这里没有格式问题....但更新不起作用。我在sql编辑器中复制粘贴了echo的输出,它可以工作....不知道那里发生了什么:2021-02-14 10:24:57,959 INFO sqlalchemy.engine.base.Engine () 2021-02-14 10:24:57,979 信息 sqlalchemy.engine.base.Engine COMMIT 0
  • 如何验证更新是否有效?
  • 我打印 rs.rowcount,但我也有一些 ID 被我识别为在 IDE 上而不是在脚本中更新...并在运行查询或脚本后检查这些

标签: python sqlalchemy


【解决方案1】:

由于调试打印似乎没有提供足够的信息来解决问题,我将假设它确实是实际提交数据库更改的问题,所以,就像其他人在其他各种问题(例如:setting autocommit to 1 in mysql),您应该尝试显式使用autocommit=True

您可以使用with 语句进行测试,例如:

with engine.connect().execution_options(autocommit=True) as conn:
    conn.execute(query)

或者只是将.execution_options(autocommit=True) 附加到您现有的代码中:

conn.execute(query).execution_options(autocommit=True)

请注意,虽然execution_optionautocommit 参数将在SQLAlchemy 1.4 中被弃用,并且替换将是设置事务隔离级别,如here 所示。

重申一下,似乎 MySQL 在内部将自动提交值设置为 0,这意味着它使用需要 .commit()ed 的事务将其传播到数据库。希望这能真正解决问题,因为我目前还没有准备好在我的机器上进行测试。

【讨论】:

  • 感谢您的努力。不幸的是,这并不能解决问题。在日志中,我什至可以在提交消息之前看到,并且更简单的更新查询也在工作(将使用这些信息编辑 q)。我检查了我拥有所有权限的用户,确实如此,,,,
  • 耻辱。确定这是问题所在。我记得以前有权限和登录问题,但 SQLAlchemy 肯定以更冗长的方式抱怨这些问题。
  • 只是一个快速更新,但当我使用会话 API 而不是连接时,我似乎能够运行它......这有多疯狂......
  • 是的,在这一点上,如果不使用会话 API,它真的只是有点奇怪的配置问题......
猜你喜欢
  • 1970-01-01
  • 2018-09-08
  • 1970-01-01
  • 2021-03-09
  • 1970-01-01
  • 2015-07-16
  • 1970-01-01
  • 2017-05-13
  • 1970-01-01
相关资源
最近更新 更多