shell脚本：搜索/替换和检查文件是否存在

Question

我有一个 perl 脚本（或任何可执行文件）E，它将获取文件 foo.xml 并写入文件 foo.txt。我使用 Beowulf 集群为大量 XML 文件运行 E，但我想在 shell (bash) 中编写一个简单的作业服务器脚本，它不会覆盖现有的 txt 文件。

我目前正在做类似的事情

#!/bin/sh
PATTERN="[A-Z]*0[1-2][a-j]"; # this matches foo in all cases 
todo=`ls *.xml | grep $PATTERN -o`;
isdone=`ls *.txt | grep $PATTERN -o`;

whatsleft=todo - isdone; # what's the unix magic?

#tack on the .xml prefix with sed or something

#and then call the job server; 
jobserve E "$whatsleft";

然后我不知道如何区分 $todo 和 $isdone。我更喜欢使用 sort/uniq，而不是像里面有 grep 的 for 循环，但我不知道该怎么做（管道？临时文件？）

作为一个额外的问题，有没有办法在 bash grep 中进行前瞻搜索？

澄清/扩展问题：

我有一堆程序从（但不一定）data/{branch}/special/{pattern}.xml 等源获取输入并将输出写入另一个目录 results/special/{branch}-{pattern} .txt（或数据/{branch}/intermediate/{pattern}.dat，例如）。如果该文件已存在，我想检查我的 jobfarming shell 脚本。

例如，E 转换 data/{branch}/special/{pattern}.xml->results/special/{branch}-{pattern}.dat。我想查看输入的每个实例并检查输出是否存在。一种（公认更简单）的方法是触摸每个输入文件旁边的 *.done 文件并检查这些结果，但我宁愿不管理这些，有时作业会不正确地终止，所以我不想要它们标记完成。

注意我不需要检查并发性或锁定任何文件。

所以解决上述问题的一种简单明了的方法（在伪代码中）可能是

for i in `/bin/ls *.xml`
do
   replace xml suffix with txt
   if [that file exists]
      add to whatsleft list
   end
done

但我正在寻找更通用的东西。

Answer 1

#!/bin/sh

shopt -s extglob # allow extended glob syntax, for matching the filenames

LC_COLLATE=C     # use a sort order comm is happy with

IFS=$'\n'        # so filenames can have spaces but not newlines
                 # (newlines don't work so well with comm anyhow;
                 # shame it doesn't have an option for null-separated
                 # input lines).

files_todo=( **([A-Z])0[1-2][a-j]*.xml )
files_done=( **([A-Z])0[1-2][a-j]*.txt )
files_remaining=( \
  $(comm -23 --nocheck-order \
    <(printf "%s\n" "${files_todo[@]%.xml}") \
    <(printf "%s\n" "${files_done[@]%.txt}") ))

echo jobserve E $(for f in "${files_remaining[@]%.xml}"; do printf "%s\n" "${f}.txt"; done)

这假设您想要一个带有所有剩余文件作为参数的jobserve E 调用；如果是这种情况，规范中还不清楚。

注意使用扩展glob而不是解析ls，即considered very poor practice。

要将输入转换为输出名称而不使用 shell 内置函数以外的任何内容，请考虑以下事项：

if [[ $in_name =~ data/([^/]+)/special/([^/]+).xml ]] ; then
  out_name=results/special/${BASH_REMATCH[1]}-${BASH_REMATCH[2]}.dat
else
  : # ...handle here the fact that you have a noncompliant name...
fi

Answer 2

问题标题表明您可能正在寻找：

 set -o noclobber

问题内容表示完全不同的问题！

您似乎想在没有匹配的“.txt”文件的情况下对每个“.xml”文件运行“jobserve E”。您需要在此处评估 TOCTOU（检查时间，使用时间）问题，因为您处于集群环境中。但基本的想法可能是：

 todo=""
 for file in *.xml
 do [ -f ${file%.xml}.txt ] || todo="$todo $file"
 done
 jobserve E $todo

这将适用于 Korn shell 以及 Bash。在 Bash 中，您可以探索将“待办事项”制作成数组；这将比这更好地处理文件名中的空格。

如果您在运行此检查时仍有进程为“.xml”文件生成“.txt”文件，您将得到一些重复的工作（因为此脚本无法判断正在处理）。如果“E”进程在开始处理它时创建了相应的“.txt”文件，则可以最大限度地减少机会或重复工作。或者，也许考虑将已处理的文件与未处理的文件分开，因此“E”进程将“.xml”文件从“to-be-done”目录移动到“done”目录（并写入“.txt”文件也到“完成”目录）。如果仔细完成，这可以避免大多数多处理问题。例如，您可以在处理开始时将 '.xml' 链接到 'done' 目录，并确保使用 'atexit()' 处理程序进行适当的清理（如果您有信心处理程序不会崩溃）。或者你自己设计的其他诡计。

Answer 3

whatsleft=$( ls *.xml *.txt | grep $PATTERN -o | sort | uniq -u )

请注意，这实际上有一个对称差异。

Answer 4

我不确定你想要什么，但你可以先检查文件是否存在，如果存在，创建一个新名称？ （或者在您的 E（perl 脚本）中执行此检查。）

if [ -f "$file" ];then
  newname="...."
fi
...
jobserve E .... > $newname 

如果不是您想要的，请在您的问题中更清楚地描述“不要覆盖文件”是什么意思..

Answer 5

为了后代，这就是我发现的工作：

TMPA='neverwritethis.tmp'
TMPB='neverwritethat.tmp'
ls *.xml | grep $PATTERN -o > $TMPA;
ls *.txt | grep $PATTERN -o > $TMPB;
whatsleft = `sort $TMPA $TMPB | uniq -u | sed "s/%/.xml" > xargs`;
rm $TMPA $TMPB;