Python 中的加速生成器 -> 列表 -> CSV

Question

我需要优化写入从 Elastic Search 中提取的 CSV 文件数据的过程，其中 elasticsearch.helpers.scan 使用 json/dict 数据构建生成器函数。

results = elasticsearch.helpers.scan(es, query=body, index=index)
with io.open(csv_file_name, "w", encoding="utf-8", newline="") as csv_file:
    writer = csv.DictWriter(csv_file, fieldnames=column_names, delimiter=';')
    writer.writeheader()
    writer.writerows([document['_source'] for document in results])

我计时了，发现罪魁祸首是： "[document['_source'] for document in results]"

需要很长时间才能通过生成器将其解压缩成列表，以便可以将其写入 CSV。 10k 条记录大约需要 30 秒，这可能需要几个小时，因为在某些情况下，我必须处理数百万条记录（每条记录接近 70 列/特征）。

有没有更有效的方法？我尝试了不同的方法来迭代数据（例如在生成器上使用“For”和“next”），但没有明显更好的结果。

我应该以不同的方式从弹性搜索中提取数据吗？ （除了返回生成器函数的扫描助手）

谢谢！

Answer 1

[document['_source'] for document in results]

实际上不是一个生成器，而是一个list comprehension，它根据需要分配尽可能多的内存以适应来自results 的所有文档。

很可能更快的方法是实际使用generator：

(document['_source'] for document in results)

总共：

results = elasticsearch.helpers.scan(es, query=body, index=index)
with io.open(csv_file_name, "w", encoding="utf-8", newline="") as csv_file:
    writer = csv.DictWriter(csv_file, fieldnames=column_names, delimiter=';')
    writer.writeheader()
    writer.writerows((document['_source'] for document in results))