通过 bash/sed/awk 快速递归搜索和替换大量文件 - 可能吗？

Question

我得到了一个包含子目录和大约 300000 个不同类型的文本文件的目录。所有这些都与某个生产项目相关，因此无法更改其架构。

有些任务需要在出现的任何地方替换特定的字符串。每次这样的替换使用grep 和sed 大约需要5 分钟。使用find 和sed 需要更多时间...

但是，PhpStorm 在打开此目录时需要一些时间来索引所有文件，但之后使用 PhpStorm 搜索和替换所有文件的速度非常快！

是否有可能在终端模拟器中实现类似的行为？以某种方式索引给定目录中的所有文件以便快速搜索和替换？

尝试谷歌搜索，我发现了一些工具，如cscope、idutils、seascope，但据我所知，存在严重的限制，例如仅搜索而没有明显的替换方法，或仅索引源文件对于函数、关键字等...

我正在寻找一种方法来索引所有文件以快速搜索并替换为自动更新的索引。与 PhpStorm 类似，但终端方式和开源。

谢谢！

Answer 1

这个怎么样：

find <base directory> -type f -exec sed -i \
  -e 's/<pattern1>/<replacement1>/' \
  -e 's/<pattern2>/<replacement2>/' \
  ...
  -e 's/<patternN>/<replacementN>/' \
  {} ';'

这里的关键是指定你想同时做的所有替换，这样你只需要遍历文件集。如果大多数文件至少需要替换一次，那么我看不出你能做得比这更好。

如果只有少数文件需要替换，那么您可以这样做

grep -R --files-with-matches '<pattern1>\|<pattern2>\|...<patternN>' <base directory> \
  | xargs sed -i \
  -e 's/<pattern1>/<replacement1>/' \
  -e 's/<pattern2>/<replacement2>/' \
  ...
  -e 's/<patternN>/<replacementN>/'

同样，关键是通过文件列表一次完成所有替换，但是这个版本使用 grep 来预先测试每个文件是否需要任何替换。当没有要进行替换时，预测试比使用 sed 处理整个事情要快，但是当需要进行替换时，您必须通过 sed 运行文件确实。

任何更高级的东西都可能花费您更多的时间来制作，而不是最终节省下来的时间。

请注意，如果您需要对要替换的文本很聪明，例如避免替换引用的字符串，那么 grep 和 sed 等通用工具可能不适用于您。如果您需要类似的东西，那么您真的应该使用了解文件格式的工具。