大多数python（3）esque方式重复从MySQL数据库中选择

Question

我有一个客户 ID 的 csv 文件 (CRM_id)。我需要从数据库的客户表中获取他们的主键（一个自动增量整数）。 （我无法保证 CRM_ids 的完整性，所以我选择不将其设为主键）。

所以：

customers = []
with open("CRM_ids.csv", 'r', newline='') as csvfile:
    customerfile = csv.DictReader(csvfile, delimiter = ',', quotechar='"', skipinitialspace=True)
    #only one "CRM_id" field per row
    customers = [c for c in customerfile]

到目前为止这么好？我认为这是最蟒蛇式的做法（但很高兴听到其他情况）。

现在是丑陋的代码。它有效，但我讨厌附加到列表，因为它必须为每个循环复制和重新分配内存，对吗？有没有更好的方法（预分配+枚举来跟踪索引浮现在脑海中，但也许有一种更快/更好的方法，巧妙地使用SQL，以免进行数千个单独的查询......）？

cnx = mysql.connector.connect(user='me', password=sys.argv[1], host="localhost", database="mydb")
cursor = cnx.cursor()
select_customer = ("SELECT id FROM customers WHERE CRM_id = %(CRM_id)s LIMIT 1;")
c_ids = []
for row in customers:
    cursor.execute(select_customer, row)
    #note fetchone() returns a tuple, but the SELECTed set
    #only has a single column so we need to get this column with the [0]
    c_ids.extend(cursor.fetchall())
    c_ids = [c[0] for c in c_ids]

编辑： 目的是获取列表中的主键，以便我可以使用它们从链接表中的其他 CSV 文件中分配一些其他数据（客户 id 主键是这些其他表的外键，并且分配算法会发生变化，所以它是最好能够灵活地在 python 中进行分配，而不是硬编码 SQL 查询）。我知道这听起来有点倒退，但“客户端”只适用于电子表格而不是 ERP/PLM，所以我必须自己为这个小应用程序建立“关系”。

Answer 1

改变你的查询以获得你想要的结果怎么样？

crm_ids = ",".join(customers)
select_customer = "SELECT UNIQUE id FROM customers WHERE CRM_id IN (%s);" % crm_ids

根据the manual，即使是数兆字节的查询，MySQL 也应该没问题；如果它是一个非常长的列表，您可以随时将其分解 - 保证两三个查询比几千个查询快得多。

Answer 2

如何将您的 csv 存储在字典而不是列表中：

customers = [c for c in customerfile]

变成：

customers = {c['CRM_id']:c for c in customerfile}

然后选择整个外部参照：

result = cursor.execute('select id, CRM_id from customers')

并将新的 rowid 添加为字典中的新条目：

for row in result:
    customers[row[1]]['newid']=row[0]