【发布时间】：2022-12-17 22:45:12
【问题描述】：
我有一个数据管道，可以解析、清理和创建一个包含几千行的数据文件。我需要将这些数据移动到 mySQL 中的不同表中。每小时都有新数据进来，我的管道会生成一个新的数据文件。目前我正在逐行迭代数据文件插入/更新 mySQL 表。
我想问一下，有没有更有效的方法将这些数据插入到 mySQL 中？
【问题讨论】：
标签： python mysql sql snowflake-cloud-data-platform
【发布时间】：2022-12-17 22:45:12
【问题描述】：
我建议采用以下方法之一
-
解析时，不要在表中插入数据，创建一个批量查询来插入批量数据并每隔 X 行执行一次（取决于您的管道大小）
插入表（id，x） 价值观 (id1, x1), (id2, x2)...
-
使用 LOAD DATA INFILE 查询将数据转储到 CSV 中并导入生成的 CSV 文件
【讨论】：