SQLAlchemy - 批量插入忽略：“重复条目”答案

【问题标题】：SQLAlchemy - bulk insert ignore: "Duplicate entry"SQLAlchemy - 批量插入忽略：“重复条目”
【发布时间】：2016-07-29 07:28:56
【问题描述】：

我有一个名为user_data 的表，列id 和user_id 作为唯一键。我想将一些历史数据导入到这个表中。我使用bulk_insert_mappings 方法批量插入数据。但有如下错误：

IntegrityError: (pymysql.err.IntegrityError) (1062, u"Duplicate entry '1-1234' for key 'idx_on_id_and_user_id'")

批量插入时如何忽略此错误并丢弃重复数据？

【问题讨论】：

请检查您的模型，您可能在导致问题的主键或唯一键字段中输入了相似的值
我知道有重复值，但是我不能更改历史数据，我只想忽略错误并继续插入操作，就像mysqlinsert ignore...语句一样。
这能回答你的问题吗？ Dealing with duplicate primary keys on insert in SQLAlchemy (declarative style)

【解决方案1】：

您应该处理每个错误。但是，如果您真的只想忽略所有错误，则无法真正进行批量插入。有时，您正在导入的实际数据会出现完整性错误。您必须一一插入并忽略。我只会在一次性脚本中使用它。

for item in dict_list:
    try:
        session.merge(orm(**item))
        session.commit()
    except Exception as e:
        session.rollback()

【讨论】：