在 Ruby 哈希中并行创建键值对的问题答案

【问题标题】：Issues with parallelizing the creation of key-value pairs in a Ruby hash在 Ruby 哈希中并行创建键值对的问题
【发布时间】：2015-07-08 01:19:44
【问题描述】：

使用 Ruby 并使用 Parallel 和 JRuby 1.7.19 编写以下代码，以加快从具有多个值的数组创建散列：

hash = {}
array = [
  {"id" => "A001", "value" => 1},
  {"id" => "B002", "value" => 0},
  {"id" => "C003", "value" => 3},
  {"id" => "D004", "value" => 0}]

Parallel.each(array, { in_threads: 5 }) do |item|
  if keep_item?(item)
    hash[item["id"]] = item
  end
end

def keep_item?(item)
  item["value"] > 0
end

我注意到，在 Ruby 中并行向哈希添加键可能会出现问题。这段代码是否有任何风险（线程安全、数据丢失、我不知道的奇怪锁等），所以我应该把它作为常规系列 #each 调用？

【问题讨论】：

如果您显示keep_item? 的代码以及array 中的项目的一些示例会更清楚。
我认为它无关紧要。现在添加其中的一些细节。
IIRC，核心类不是线程安全的。添加互斥锁能解决问题吗？

标签： ruby multithreading hash parallel-processing jruby

【解决方案1】：

Hash 不是线程安全的。如果keep_item? 访问hash，就会出现竞争条件。即使没有，hash 也会有并发更新，这很容易出错。

如果没有锁或其他同步，理论上不能保证一个线程上对非线程安全hash 的更新在另一个线程上可见。 hash 不同步的并发更新可能会丢失数据，或者导致其他奇怪的问题。这取决于 Ruby Hash 的实现。

您的数据很简单，只需使用普通的each 处理它们。如果使用Parallel，并添加mutex/lock 进行线程安全访问，同步开销将显着增加整个进程的额外时间成本。而且安全并行版本可能会使用更多时间。

Parallel 在您的任务是IO 受限或 CPU 受限时很有用，只要您有空闲内核并且任务不需要在彼此之间交换数据。

【讨论】：

总结一下。除非有人出于任何原因不同意，否则在这种情况下，最好让它串联运行。

【解决方案2】：

虽然 Arie Shaw 关于 Hash 不是线程安全的说法是正确的，但我认为您的实现比任何事情都更重要。如果您必须并行处理，我建议您改用Parallel::map，例如

 #lambda just to create the array structure
 lam = ->(n) {n.times.map {|i| {'id' => 'A' + i.to_s, 'value' => [i,0].shuffle.pop }}}
 a = lam.call(40_000)
 require 'parallel'
 Parallel.map(a,in_threads: 5) {|h| [h['id'],h] if h['value'] > 0}.compact.to_h

请注意，这比直接对数组运行要慢得多，例如

a.map {|h| [h['id'],h] if h['value'] > 0}.compact.to_h

fruity结果：

require 'fruity'
compare do
  in_parallel { Parallel.map(a, in_threads:5){|h| [h["id"],h] if h["value"] > 0}.compact.to_h }
  standard_array { a.map{|h| [h["id"],h] if h["value"] > 0}.compact.to_h }
end

#Running each test 64 times. Test will take about 6 minutes.
# standard_array is faster than in_parallel by 5x ± 1.0

【讨论】：