将数据批量导入数据库

Question

我使用 MySQL 服务器作为数据库。我想将至少 10000 条记录导入数据库。我发现了一个名为 activerecord-import 的 gem，它通过单个查询将数据导入数据库。使用单个查询导入批量数据会降低性能吗？或者我应该将这些记录分成 2000 条记录并导入它吗？

Answer 1

当您使用 ActiveRecord 创建新记录时，它会在后台创建大量对象，以便在您在模型上设置每个属性类型时以及在将其提交到数据库之前正确地转换它。创建这些对象并进行查找需要时间。

当您执行查询时，往返需要时间。

让一个大型查询完成大量工作所需的时间要少得多。

它会降低性能吗？

当然，一切都有性能权衡，但是使用像您提到的 gem 这样的东西将比逐行进行更少的工作（以及性能权衡）。

不要害怕在本地进行试验，看看一切的表现和表现如何。如果/当需要扩展时，请担心它。