【问题标题】:Improve import speed of data into MySQL DBs (large data)提高数据导入 MySQL 数据库的速度(大数据)
【发布时间】:2013-09-30 12:33:22
【问题描述】:

我在这里收集了大量数据,其中包含用于导入 mysql 数据库的脚本。数据大约 40GB,导入所需的资源比 mysql 需要的资源要少得多。 CPU 最多为 50%。

我在谷歌上搜索了一下,想知道如何让它更快,谷歌说 LOAD DATA INFILE 几乎是最快的方法,不幸的是我的脚本已经在使用它

mysql -u$USR -p$PW $3 -e "LOAD DATA INFILE '`pwd`/data' INTO TABLE mydata;";

上次我让导入以交互方式在命令提示符下运行,而不是在后台运行。我想知道 fi 对这类事情的实际速度有影响吗?

是否有人对如何加快导入速度有其他想法或建议。我至少会,除了mysql会贪婪地占用我所有的CPU时间,但事实并非如此。我可以让我的导入运行超过 2 天,它应该完成(我实际上尝试了 1 天,但它还没有完成....~30GB 不得不移动我的电脑和导入),但我希望有一个解决方案充分利用我电脑中的资源

【问题讨论】:

  • 你的导入表是哪个引擎?
  • 运行完整的系统分析,你的 CPU 是瓶颈还是硬盘?
  • 40GB 的数据需要一段时间,除非您升级到 SSD。但肯定不需要2天。你能把你的文件分成更小的块,然后依次尝试吗?

标签: mysql


【解决方案1】:

【讨论】:

  • 这个答案只是一个链接。链接死了。请在此处复制/粘贴文章的重要部分。
  • @ChristopheDeTroyer 虽然你是对的,但这篇文章很长,只是简单地复制粘贴它不会对其中的冗长论点做出公正的处理。为了在一定程度上缓解您的问题,我已将其存档到 Internet 存档中:web.archive.org/web/20210621131832/https://kvz.io/…
猜你喜欢
  • 2017-01-20
  • 1970-01-01
  • 2016-01-26
  • 1970-01-01
  • 2019-03-04
  • 2020-02-06
  • 2020-11-13
  • 2015-05-21
  • 2018-02-05
相关资源
最近更新 更多