将 25 gigs 文本文件加载到 Mysql（python 脚本或 LOAD DATA）的最佳方法？ [复制]

Question

我正在尝试将大约 25 GB 的文件加载到 MYsql 我打算编写一个脚本但看到加载数据命令的 stackoverflow 线程所以尝试

LOAD DATA INFILE 'file_path\\test.txt' INTO TABLE my_table
fields terminated by ":";

结果似乎没问题，但 mysql 工作台连接似乎在一段时间后断开，这当然可能是因为文件大小。那么我能做什么，在这种情况下，python 脚本是否更高效，更重要的是更可靠，因为我无法承受在这个漫长的过程中当然发生的任何错误。

Answer 1

您可以根据您的系统配置，使用多线程的 python 脚本分块加载数据。