来自数组的 grep 比来自文件的 grep 慢得多

Question

为了优化我的 bash 脚本，我将文件加载到一个数组中并尝试从那里进行 grep，我注意到内存中的 grep 比文件中的标准 grep 慢得多，即使考虑到事实上，磁盘 I/O 已被排除在外。

1) 好的，所以我有一个包含名称=值对的大文件（大约 3000 行），这是我的“缓存”。我将它从文件加载到一个数组中（足够直截了当）

# load to array
l_i_array_index=1
while read line
  do
  g_a_cache[$l_i_array_index]=$line
  let "l_i_array_index += 1"
  done < $g_f_cache

2) 然后我运行一个搜索性能的小基准测试：

time for i in `seq 1 100`
  do
  for l_i_array_index in `seq 1 ${#g_a_cache[@]}`
    do
      echo ${g_a_cache[$l_i_array_index]}
    done | grep -c $l_s_search_string > /dev/null
  done

real    0m14.387s
user    0m13.846s
sys     0m1.781s

3) 相同，但直接来自磁盘文件：

time for i in `seq 1 100`
  do
  grep -c $l_s_search_string $g_f_cache > /dev/null
  done
real    0m0.347s
user    0m0.161s
sys     0m0.136s

所以性能会差 13 到 40 倍，而实际上应该更好。

我的问题是：1)这种奇怪行为的原因是什么2)这在 bash 中是可以解决的，还是我应该硬着头皮最后在 Python 中重做

附：测试是在 Mac (bash v4) 上完成的，在 Cygwin 中，使用普通 grep（速度更快）每次 ONE 搜索的时间超过一秒，而使用数组方法则超过 10 秒。该脚本接近无法使用..

Answer 1

grep 程序多年来一直由搜索和算法设计领域的顶级专家进行了大量优化。你根本不会用 shell 脚本打败它。这是一个荒谬的概念。

老实说，我无法想象您为什么会期望与grep 一样快。也许您认为所有greps 磁盘I/O 实际上都需要对实际的物理磁盘做一些事情。但事实并非如此。每个现代操作系统都有一个磁盘缓存，文件在第一次被读取后就会在缓存中，这需要几分之一秒。

Answer 2

这可能与文件系统缓存有关，这会导致“优化”实现实际上增加了开销。

文件系统缓存可以通过以下方式观察到：

localhost elhigu$ time grep -r "testnottofind" * 
real    0m22.468s
user    0m0.172s
sys 0m0.828s
localhost elhigu$ time grep -r "testnottofind" * 
real    0m0.826s
user    0m0.087s
sys 0m0.232s
localhost elhigu$ time grep -r "testnottofind2" * 
real    0m0.285s
user    0m0.084s
sys 0m0.190s
localhost elhigu$ time grep -r "moretesting" * 
real    0m0.285s
user    0m0.086s
sys 0m0.185s
localhost elhigu$ 

还有更多信息https://unix.stackexchange.com/questions/8914/does-grep-use-a-cache-to-speed-up-the-searches。