如何在 Bash 脚本中循环编辑多个文件？

Question

我有 40 个 csv 文件需要编辑。 20 个具有匹配格式，名称仅相差一个字符，例如 docA.csv、docB.csv 等。另外 20 个也匹配并命名为 pair_docA.csv、pair_docB.csv 等。

我编写了用于编辑和组合 docA.csv 和 pair_docA.csv 的代码，但我正在努力编写一个循环来调用上述两个文件，编辑它们，并将它们组合在名称 combineA.csv 下，然后继续在下一对。

谁能帮助我编写基本的 bash 脚本？这是我到目前为止所拥有的。我已经尝试过一个 for 循环，现在我正在尝试 2 个（可能是 3 个）for 循环。我宁愿把它放在一个循环中。

set -x
DIR=/path/to/file/location

for file in `ls $DIR/doc?.csv`
do

#code to edit the doc*.csv files ie $file

done

for pairdoc in `ls $DIR/pair_doc?.csv`
do

#code to edit the piar_doc*.csv files ie $pairdoc

done

#still need to combine the files. I have the join written for a single iteration, 
#but how do I loop the code to save each join as a different file corresponding
#to combined*.csv

Answer 1

类似的东西：

#!/bin/bash

dir=/path/to/file/location
 
cd "$dir" || exit
for file in doc?.csv; do
    pair=pair_$file
    # "${file#doc}" deletes the prefix "doc"
    combined=combined_${file#doc}
    cat "$file" "$pair" >> "$combined" 
done

ls 原则上不应在 shell 脚本中使用以遍历文件。它旨在以交互方式使用，并且几乎从不需要在脚本中使用。此外，全大写的变量名不应用作普通变量，因为它们可能与内部 shell 变量或环境变量发生冲突。

---

以下是不改目录的版本。

#!/bin/bash

dir=/path/to/file/location

for file in "$dir/"doc?.csv; do
    basename=${file#"$dir/"}
    pair=$dir/pair_$basename
    combined=$dir/combined_${basename#doc}
    cat "$file" "$pair" >> "$combined"
done

Answer 2

这可能对你有用（GNU 并行）：

parallel cat {1} {2} \> join_{1}_{2} ::: doc{A..T}.csv :::+ pair_doc{A..T}.csv

将cat 命令更改为您选择的命令，其中{1} 代表docX.csv 文件，{2} 代表pair_docX.csv 文件。

注意X 代表字母 A 到 T