一次将多条记录插入模型[重复]

Question

在将数据插入模型时，我正在寻找一些最佳实践，尤其是在要创建大量记录时，到目前为止，我正在检索一些 XML 并将其保存到模型中

doc = Nokogiri::XML.parse(open(url))
doc.xpath('//xmlns:feed/xmlns:entry[xmlns:title[node()]]').each do |s|

  cid = s.xpath("xmlns:id").text
  email = s.xpath("gd:email/@address").text
  name = s.xpath("xmlns:title").text

  data = Contact.new(
    :cid => cid,
    :email => email,
    :name => name)
  data.save
end

现在这是一条一条地插入记录，我认为这需要很长时间。

我读过一种解决方案是使用事务，或者我可以进行一次批量插入？我的问题是我将从哪一个中受益最多，我将如何重新格式化我已经拥有的每一个？在新设置中看到我当前设置的示例将使我受益，因为我将能够更多地理解它并从中实际学习

任何帮助表示赞赏

谢谢

Answer 1

您也可以尝试upsert，它可以让您快速插入记录（在某些测试中，比activerecord-import 更快），而无需先将它们累积到内存中：

require 'upsert'
# [...]
doc = Nokogiri::XML.parse(open(url))
Upsert.batch(Contact.connection, Contact.table_name) do |upsert|
  doc.xpath('//xmlns:feed/xmlns:entry[xmlns:title[node()]]').each do |s|
    cid = s.xpath("xmlns:id").text
    email = s.xpath("gd:email/@address").text
    name = s.xpath("xmlns:title").text
    upsert.row(
      :cid => cid,
      :email => email,
      :name => name
    )
  end
end

这适用于 MySQL、Postgres 和 SQLite3。

Answer 2

其他人已经解决了这个问题，解决方案是使用 activerecord-import。见original question...

使用activerecord-import的详细信息在wiki上

编辑：如果您不突出显示文本，显然链接按钮不会将链接复制为标题。

doc = Nokogiri::XML.parse(open(url))
data = []
doc.xpath('//xmlns:feed/xmlns:entry[xmlns:title[node()]]').each do |s|

  cid = s.xpath("xmlns:id").text
  email = s.xpath("gd:email/@address").text
  name = s.xpath("xmlns:title").text

  data << Contact.new(
    :cid => cid,
    :email => email,
    :name => name)
end
Contact.import data