从每日 CSV 文件更新 MYSQL - 跳过已导入答案

【问题标题】：Updating MYSQL from daily CSV file - Skip already imported从每日 CSV 文件更新 MYSQL - 跳过已导入
【发布时间】：2019-07-20 07:29:39
【问题描述】：

我正在使用以下脚本将数据从每天更新的 CSV 文件复制到 Mysql 数据库中。

csv_data = csv.reader(open('test.csv'))
next(csv_data, None)
for row in csv_data:  
    with connection.cursor() as cursor:
         cursor.execute(("INSERT INTO test(`1` ,`2`,`3` .......) VALUES(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"), (row[0]........))

CSV 目前有超过 40,000 行，并将继续增长，这意味着它需要几个小时才能完成。

我知道我可以在数据库中添加一个唯一标识符以停止重复并执行INSERT IGNORE 以跳过它，但我还能做些什么来加快这个过程吗？

【问题讨论】：

标签： python mysql csv

【解决方案1】：

“INSERT IGNORE”将解决您的问题。

【讨论】：