【问题标题】:MySQL: Alternatives to BigDump for Importing Huge FilesMySQL:BigDump 用于导入大文件的替代方案
【发布时间】:2017-05-02 16:17:30
【问题描述】:

我正在尝试将 40GB 的 .sql 文件导入到新的 MySQL 数据库中。 BigDump 有什么替代品吗?大约 30 分钟后,BigDump 上的连接超时。理想情况下,我可以找到一个具有某种类型进度条的解决方案。

谢谢!

【问题讨论】:

    标签: mysql


    【解决方案1】:

    1) 将 1 个文件拆分为 N 行(通常我建议 100,000 行),这将创建(文件中的总行数/N)个文件。

    2) 创建一个没有索引的新表。

    3) 运行一个 for 循环 bash 脚本以在其自己的事务中分别加载每个文件。

    4) 必要时添加索引

    5) 删除/重命名您尝试替换的现有表并将新表重命名为生产(如有必要)。

    此选项有很多帮助,即它可以帮助快速发现问题(例如意外跳过的行),可以快速了解负载的有效性,并将负载分块以避免大量单事务,因此是故障点。

    我从未使用过 BigDump,但我猜它会做类似的事情。

    类似问答:Copying 3B rows in SQL Table?

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2020-07-02
      • 1970-01-01
      • 2019-04-30
      • 2010-10-19
      • 2015-09-13
      • 2014-12-15
      • 1970-01-01
      相关资源
      最近更新 更多