Bash - 用 sed 语句多次替换

Question

我对脚本表演很生气。

基本上我必须替换 35000 多个文件中的 600 个字符串。

我有这样的东西：

patterns=(
   oldText1 newText1
   oldText2 newText2
   oldText3 newText3
)

pattern_count=${#patterns[*]}

files=(`find \. -name '*.js'`);
files_count=${#files[*]}

for ((i=0; i < $pattern_count ; i=i+2)); do
    search=${patterns[i]};
    replace=${patterns[i+1]};
    echo -en "\e[0K\r Status "$proggress"%. Iteration: "$i" of " $pattern_count;
    for ((j=0; j < $files_count; j++)); do
        command sed -i s#$search#$replace#g ${files[j]};
        proggress=$(($i*100/$files_count));
        echo -en "\e[0K\r Inside the second loop: " $proggress"%. File: "$j" of "$files_count;
    done
    proggress=$(($i*100/$pattern_count));
    echo -en "\e[0K\r Status "$proggress"%. Iteration: "$i" of " $pattern_count;
done

但这需要花费大量时间。还有另一种解决方案吗？可能只使用一次 sed 而不是双循环？

非常感谢。

Answer 1

创建一个合适的sed 脚本：

s/pattern1/replacement1/g
s/pattern2/replacement2/g
...

使用sed -f script.sed file（或任何需要的方式）运行此脚本。

您可以使用您的数组创建 sed 脚本：

printf 's/%s/%s/g\n' "${patterns[@]}" >script.sed

将其应用于文件：

find . -type f -name '*.js' -exec sed -i -f script.sed {} ';'

我不太清楚 GNU sed（我假设您正在使用）在您使用 -i 时如何处理多个文件，但您可能也想尝试一下

find . -type f -name '*.js' -exec sed -i -f script.sed {} +

这可能会更有效率（执行尽可能少的sed 命令）。与往常一样，对测试后可以丢弃的数据进行测试。

有关将-exec 与find 结合使用的更多信息，请参阅https://unix.stackexchange.com/questions/389705

Answer 2

1. 您不需要对一个文件多次运行 sed。您可以使用 ';' 分隔 sed 命令
2. 您可以并行执行多个 sed

例如：

patterns=(
   oldText1 newText1
   oldText2 newText2
   oldText3 newText3
)
// construct sed argument such as 's/old/new/g;s/old2/new2/g;...'
sedarg=$(
for ((i = 0; i < ${#patterns[@]}; i += 2)); do
        echo -n "s/${patterns[i]}/${patterns[i+1]}/g;"
done
)

// find all files named '*.js' and pass them to args with zero as separator
// xargs will parse them:
//  -0 use zero as separator
//  --verbose will print the line before execution (ie. sed -i .... file)
//  -n1 pass one argument/one line to one sed
//  -P8 run 8 seds simulteneusly (experiment with that value, depends on how fast your cpu and harddrive is)
find . -type f -name '*.js' -print0 | xargs -0 --verbose -n1 -P8 sed -i "$sedarg"

如果你非常需要进度条，我猜你可以数行xargs --verbose返回或更好地使用parallel --bar，参见this post。