【问题标题】:SQLalchemy Bulk insert with one to one relation具有一对一关系的 SQLalchemy 批量插入
【发布时间】:2016-04-03 14:02:26
【问题描述】:

我有以下模型,其中 TableA 和 TableB 具有 1 对 1 的关系:

class TableA(db.Model):
    id = Column(db.BigInteger, primary_key=True)
    title = Column(String(1024))
    table_b = relationship('TableB', uselist=False, back_populates="table_a")


class TableB(db.Model):
    id = Column(BigInteger, ForeignKey(TableA.id), primary_key=True)
    a = relationship('TableA', back_populates='table_b')
    name = Column(String(1024))

当我插入 1 条记录时一切正常:

rec_a = TableA(title='hello')
rec_b = TableB(a=rec_a, name='world')
db.session.add(rec_b)
db.session.commit()

但是当我尝试对大量记录执行此操作时:

bulk_ = []

for title, name in zip(titles, names):
    rec_a = TableA(title=title)
    bulk_.append(TableB(a=rec_a, name=name))

db.session.bulk_save_objects(bulk_)
db.session.commit()

我得到以下异常:

sqlalchemy.exc.InternalError: (pymysql.err.InternalError) (1364, "Field 'id' doesn't have a default value")

我做错了吗?我是不是把模型配置错了? 有没有办法批量提交这种类型的数据?

【问题讨论】:

    标签: python flask sqlalchemy


    【解决方案1】:

    你看到的错误是Mysql抛出的。它抱怨将记录插入table_b 的尝试违反了外键约束。

    一种技术可以是在一个批量语句中写入所有标题,然后在第二个批量语句中写入所有名称。另外,我从来没有成功地将关系传递给批量操作,这种方法依赖于插入简单的值。

    bulk_titles = [TableA(title=title) for title in titles]
    session.bulk_save_objects(bulk_titles, return_defauls=True)
    bulk_names = [TableB(id=title.id, name=name) for title, name in zip(bulk_titles, names)]
    session.bulk_save_objects(bulk_names)
    

    上面需要return_defaults=True,因为我们在第二次批量操作中需要title.id。但是这个greatly reduces the performance gains of the bulk operation

    为避免return_defauts=True 导致性能下降,您可以从应用程序而不是数据库生成主键,例如使用 uuids,或者获取每个表中的最大 id 并从该起始值生成一个范围。

    另一种技术可能是使用 sqlalchemy 核心或纯文本编写批量插入语句。

    【讨论】:

      猜你喜欢
      • 2018-06-25
      • 2020-08-07
      • 2021-03-09
      • 2022-06-22
      • 2013-05-02
      • 1970-01-01
      • 2013-12-31
      • 2017-02-06
      • 2013-08-18
      相关资源
      最近更新 更多