对目录中的所有文件执行命令

Question

有人可以提供代码来执行以下操作： 假设有一个文件目录，所有文件都需要通过程序运行。程序将结果输出到标准输出。我需要一个脚本，它会进入一个目录，对每个文件执行命令，并将输出连接到一个大输出文件中。

例如，在 1 个文件上运行命令：

$ cmd [option] [filename] > results.out

Answer 1

这个怎么样：

find /some/directory -maxdepth 1 -type f -exec cmd option {} \; > results.out

• -maxdepth 1 参数防止 find 递归下降到 任何子目录。 （如果您希望处理此类嵌套目录，可以省略它。）
• -type -f 指定只处理普通文件。
• -exec cmd option {} 告诉它运行cmd 并为找到的每个文件指定option，并用文件名替换{}
• \; 表示命令结束。
• 最后，所有单独的cmd 执行的输出被重定向到 results.out

但是，如果您关心文件的处理顺序，您可以 写一个循环可能会更好。我认为find 处理文件 按 inode 顺序（尽管我可能错了），这可能不是什么 你想要的。

Answer 2

以下 bash 代码会将 $file 传递给命令，其中 $file 将代表 /dir 中的每个文件

for file in /dir/*
do
  cmd [option] "$file" >> results.out
done

例子

el@defiant ~/foo $ touch foo.txt bar.txt baz.txt
el@defiant ~/foo $ for i in *.txt; do echo "hello $i"; done
hello bar.txt
hello baz.txt
hello foo.txt

Answer 3

基于@Jim Lewis 的方法：

这是一个使用find 并按修改日期对文件进行排序的快速解决方案：

$ find  directory/ -maxdepth 1 -type f -print0 | \
  xargs -r0 stat -c "%y %n" | \
  sort | cut -d' ' -f4- | \
  xargs -d "\n" -I{} cmd -op1 {} 

排序参见：

http://www.commandlinefu.com/commands/view/5720/find-files-and-list-them-sorted-by-modification-time

Answer 4

我在 Raspberry Ri 上通过命令行运行：

for i in *; do cmd "$i"; done

Answer 5

我需要将所有 .md 文件从一个目录复制到另一个目录，所以这就是我所做的。

for i in **/*.md;do mkdir -p ../docs/"$i" && rm -r ../docs/"$i" && cp "$i" "../docs/$i" && echo "$i -> ../docs/$i"; done

很难阅读，所以让我们分解一下。

首先 cd 进入包含文件的目录，

for i in **/*.md; 用于您的模式中的每个文件

mkdir -p ../docs/"$i"在包含您的文件的文件夹之外的 docs 文件夹中创建该目录。这会创建一个与该文件同名的额外文件夹。

rm -r ../docs/"$i" 删除因mkdir -p 而创建的额外文件夹

cp "$i" "../docs/$i"复制实际文件

echo "$i -> ../docs/$i"回应你所做的事情

; done从此过上幸福的生活

Answer 6

有时完成工作的一种快速而肮脏的方式是：

find directory/ | xargs  Command 

例如查找当前目录下所有文件的行数，可以这样做：

find . | xargs wc -l

Answer 7

接受/高票的答案很棒，但缺少一些细节。这篇文章介绍了如何更好地处理 shell 路径名扩展 (glob) 失败、文件名包含嵌入的换行符/破折号以及在将结果写入时将命令输出重定向移出 for 循环的情况文件。

当使用* 运行 shell glob 扩展时，如果目录中存在 no 文件并且未扩展的 glob 字符串将传递给要运行的命令，这可能会产生不良结果。 bash shell 为此使用nullglob 提供了扩展的shell 选项。所以循环基本上在包含您的文件的目录中如下所示

 shopt -s nullglob

 for file in ./*; do
     cmdToRun [option] -- "$file"
 done

当表达式./* 不返回任何文件时（如果目录为空），您可以安全地退出 for 循环

或以符合 POSIX 的方式（nullglob 是 bash 特定的）

 for file in ./*; do
     [ -f "$file" ] || continue
     cmdToRun [option] -- "$file"
 done

当表达式失败一次并且条件[ -f "$file" ] 检查未扩展的字符串./* 是否是该目录中的有效文件名时，这使您可以进入循环，这不是。因此，在这种情况下失败，使用continue 我们恢复到for 循环，该循环不会随后运行。

还要注意在传递文件名参数之前使用--。这是必需的，因为如前所述，shell 文件名可以在文件名的任何位置包含破折号。当名称被正确引用时，一些 shell 命令会解释它并将它们视为命令选项，并在考虑是否提供标志的情况下执行命令。

-- 在这种情况下表示命令行选项的结束，这意味着该命令不应将超出此点的任何字符串解析为命令标志，而只能解析为文件名。

---

双引号文件名可以正确解决名称包含全局字符或空格的情况。但是 *nix 文件名中也可以包含换行符。所以我们用唯一不能成为有效文件名一部分的字符来限制文件名 - 空字节（\0）。由于bash 内部使用C 样式字符串，其中空字节用于指示字符串的结尾，因此它是正确的候选对象。

所以使用shell的printf选项，使用read命令的-d选项来分隔带有这个NULL字节的文件，我们可以这样做

( shopt -s nullglob; printf '%s\0' ./* ) | while read -rd '' file; do
    cmdToRun [option] -- "$file"
done

nullglob 和 printf 包裹在 (..) 周围，这意味着它们基本上在子 shell（子 shell）中运行，因为为了避免 nullglob 选项反映在父 shell 上，一次命令退出。 read 命令的-d '' 选项不 POSIX 兼容，因此需要bash shell 来完成此操作。使用find 命令可以这样做

while IFS= read -r -d '' file; do
    cmdToRun [option] -- "$file"
done < <(find -maxdepth 1 -type f -print0)

对于不支持 -print0 的 find 实现（GNU 和 FreeBSD 实现除外），可以使用 printf 进行模拟

find . -maxdepth 1 -type f -exec printf '%s\0' {} \; | xargs -0 cmdToRun [option] --

---

另一个重要的修复是将重定向移出 for 循环以减少大量文件 I/O。当在循环内使用时，shell 必须为 for 循环的每次迭代执行两次系统调用，一次用于打开，一次用于关闭与文件关联的文件描述符。这将成为运行大型迭代的性能瓶颈。推荐的建议是将其移到循环之外。

用这个修复扩展上面的代码，你可以这样做

( shopt -s nullglob; printf '%s\0' ./* ) | while read -rd '' file; do
    cmdToRun [option] -- "$file"
done > results.out

这基本上会将文件输入的每次迭代的命令内容放入标准输出，当循环结束时，打开目标文件一次以写入标准输出的内容并保存它。等效的find 版本将是

while IFS= read -r -d '' file; do
    cmdToRun [option] -- "$file"
done < <(find -maxdepth 1 -type f -print0) > results.out

Answer 8

我认为简单的解决方案是：

sh /dir/* > ./result.txt

Answer 9

最大深度

我发现它可以很好地与 Jim Lewis's answer 一起使用，只需添加如下内容：

$ export DIR=/path/dir && cd $DIR && chmod -R +x *
$ find . -maxdepth 1 -type f -name '*.sh' -exec {} \; > results.out

排序顺序

如果要按排序顺序执行，修改如下：

$ export DIR=/path/dir && cd $DIR && chmod -R +x *
find . -maxdepth 2 -type f -name '*.sh' | sort | bash > results.out

仅举个例子，这将按以下顺序执行：

bash: 1: ./assets/main.sh
bash: 2: ./builder/clean.sh
bash: 3: ./builder/concept/compose.sh
bash: 4: ./builder/concept/market.sh
bash: 5: ./builder/concept/services.sh
bash: 6: ./builder/curl.sh
bash: 7: ./builder/identity.sh
bash: 8: ./concept/compose.sh
bash: 9: ./concept/market.sh
bash: 10: ./concept/services.sh
bash: 11: ./product/compose.sh
bash: 12: ./product/market.sh
bash: 13: ./product/services.sh
bash: 14: ./xferlog.sh

无限深度

如果你想在特定条件下无限深度执行，你可以使用这个：

export DIR=/path/dir && cd $DIR && chmod -R +x *
find . -type f -name '*.sh' | sort | bash > results.out

然后像这样放在子目录中的每个文件的顶部：

#!/bin/bash
[[ "$(dirname `pwd`)" == $DIR ]] && echo "Executing `realpath $0`.." || return

在父文件正文中的某处：

if <a condition is matched>
then
    #execute child files
    export DIR=`pwd`
fi

Answer 10

你可以使用xarg:

ls | xargs -L 1 -d '\n' your-desired-command 

• -L 1 导致一次通过 1 个项目

• -d '\n' 根据新行拆分ls 的输出。