红宝石：提高效率

Question

我正在处理大量数据，我担心大规模运营的效率。经过基准测试，执行这串代码的平均时间约为 0.004 秒。这行代码的目标是找出每个数组位置中两个值之间的差异。在之前的操作中，111.111 被加载到包含无效数据的位置的数组中。由于一些奇怪的时域问题，我需要这样做，因为我不能只删除这些值，我需要一些可区分的占位符。我可能可以在这里使用'nil'。无论如何，回到解释。这行代码检查以确保两个数组在当前位置都没有这个 111.111 占位符。如果这些值是有效的，那么我执行数学运算，否则我想删除这些值（或者至少将它们从我正在写入的新数组中排除）。我通过在该位置放置一个“nil”然后压缩数组来完成此操作。

每个数组中 4000 个数据点的 0.004 秒时间并不可怕，但是这行代码执行了 25M 次。我希望有人能够对我如何优化这行代码提供一些见解。

temp_row = row_1.zip(row_2).map do |x, y| 
  x == 111.111 || y == 111.111 ? nil : (x - y).abs 
end.compact

Answer 1

您正在浪费 CPU 在三元语句中生成 nil，然后使用 compact 删除它们。相反，使用reject 或select 来查找不包含111.111 然后map 或类似内容的元素。

代替：

row_1 = [1, 111.111, 2]
row_2 = [2, 111.111, 4]

temp_row = row_1.zip(row_2).map do |x, y| 
  x == 111.111 || y == 111.111 ? nil : (x - y).abs 
end.compact
temp_row # => [1, 2]

我会开始：

temp_row = row_1.zip(row_2)
                .reject{ |x,y| x == 111.111 || y == 111.111 }
                .map{ |x,y| (x - y).abs }
temp_row # => [1, 2]

或者：

temp_row = row_1.zip(row_2)
                .each_with_object([]) { |(x,y), ary|
                  ary << (x - y).abs unless (x == 111.111 || y == 111.111)
                }
temp_row # => [1, 2]

对不同大小的数组进行基准测试显示了一些值得了解的事情：

require 'benchmark'

DECIMAL_SHIFT = 100
DATA_ARRAY = (1 .. 1000).to_a
ROW_1 = (DATA_ARRAY + [111.111]).shuffle
ROW_2 = (DATA_ARRAY.map{ |i| i * 2 } + [111.111]).shuffle

Benchmark.bm(16) do |b|
  b.report('ternary:') do
    DECIMAL_SHIFT.times do
      ROW_1.zip(ROW_2).map do |x, y| 
        x == 111.111 || y == 111.111 ? nil : (x - y).abs 
      end.compact
    end
  end

  b.report('reject:') do
    DECIMAL_SHIFT.times do
      ROW_1.zip(ROW_2).reject{ |x,y| x == 111.111 || y == 111.111 }.map{ |x,y| (x - y).abs }
    end
  end

  b.report('each_with_index:') do
    DECIMAL_SHIFT.times do
      ROW_1.zip(ROW_2)
           .each_with_object([]) { |(x,y), ary|
             ary += [(x - y).abs] unless (x == 111.111 || y == 111.111)
           }
    end
  end
end

# >>                        user     system      total        real
# >> ternary:           0.240000   0.000000   0.240000 (  0.244476)
# >> reject:            0.060000   0.000000   0.060000 (  0.058842)
# >> each_with_index:   0.350000   0.000000   0.350000 (  0.349363)

调整DECIMAL_SHIFT 和DATA_ARRAY 的大小以及111.111 的位置，看看会发生什么，以了解哪些表达式最适合您的数据大小和结构，并根据需要微调代码。

Answer 2

您可以尝试parallel gem https://github.com/grosser/parallel 并在多个线程上运行它