尽可能使用最大参数循环执行命令

Question

我有一个可以同时处理 ~256 个文件的程序（编辑：命令行参数数量给出的限制）；而且我必须对我拥有的许多文件（超过 100k）执行它。

为此，目前，我使用一个简单的循环，为每个文件一个接一个地调用我的程序一次。

FILESLIST="$(find /folder/where/the/files/are/ -name '*.xml' 2>/dev/null)"
FILESTAB=($FILESLIST)

for f in "${FILESTAB[@]}"
do
    ./myProgram $f || break
done

但是为了提高我的处理速度，我每次都需要使用我的程序有多个文件，如下所示：

./myProgram path/to/file1.xml path/to/file2.xml ...

我想到了类似下面的东西，但我找不到一个好主意来做这个（见 cmets）：

FILESLIST="$(find /folder/where/the/files/are/ -name '*.xml' 2>/dev/null)"
FILESTAB=($FILESLIST)

while [ ${#FILESTAB[@]} -gt 256 ]
do
    ListOf256FilesNames=$FILETAB[0:256]        # << My problem is to do this
    FILETAB=$FILETAB[256:end] # shifting array # <<   and do this too

    ./myProgram $ListOf256FilesNames  # << this works supposing the 2 lines before works
done

./myProgram $FILESTAB  # do the work for remaining files

有没有我想做的事情，或者你有什么想法用另一种方式来做？

Answer 1

假设您的真正目标是避免超出操作系统允许的环境变量和参数的最大空间量，您最好让find 或xargs 完成这项工作为你。 （这也避免了当您在批处理中获得一堆异常长的文件名时无意中重复，或者当您的名称非常短并且可以容纳更多时通过运行额外的进程来浪费 CPU）。

---

最佳实践：让find 做除法

与-exec ... {} ... \; 不同，每个文件名运行一个命令，-exec ... {} + 在每个命令行上放置尽可能多的参数。这是自 2007 年以来符合 POSIX 标准。

find /folder/where/the/files/are -name `*.xml` -exec ./myProgram '{}' +

替代方案：GNU xargs

使用find -0 和xargs -0 以与旧工具兼容的方式提供了类似的功能：

find /folder/where/the/files/are -name `*.xml` -print0 | xargs -0 ./myProgram

如果您真的想告诉xargs 向每次调用传递不超过 256 个参数，您可以比xargs -n 256 -0 ./myProgram 传递不超过 256 个参数。

次优：正是要求的内容

files=()
while IFS= read -r -d '' filename; do
  files+=( "$filename" )
done < <(find /folder/where/the/files/are/ -name '*.xml' -print0)

idx=0
while ((idx=0; idx<${#files[@]}; idx+=256)); do
  ./myProgram "${files[@]:$idx:256}"
done