防止文件被linux中的另一个进程移动

Question

我对 bash 脚本有疑问。 我有两个 cron 任务，它们从同一文件夹中获取一些文件以进行进一步处理。

ls -1h "targdir/*.json" | head -n ${LIMIT} > ${TMP_LIST_FILE}
while read REMOTE_FILE 
do
    mv $REMOTE_FILE $SCRDRL
done < "${TMP_LIST_FILE}"
rm -f "${TMP_LIST_FILE}"

但是随后两个脚本实例同时运行相同的文件被移动到 $SRCDRL，这对于实例不同。 问题是如何防止文件被不同的脚本移动？

统一更新： 也许我有点不清楚... 我有存储 json 文件的文件夹“targdir”。我有两个 cron 任务，它们从该目录中获取一些文件进行处理。例如，在 targdir 中存在 25 个文件，第一个 cron 任务应该获取前 10 个文件并将它们移动到 /tmp/task1，第二个 cron 任务应该获取接下来的 10 个文件并将它们移动到 /tmp/task2 等。 但现在前 10 个文件移动到 /tmp/task1 和 /tmp/task2。

Answer 1

首先：重命名是原子的。 不可能将文件移动两次。其中一个移动将失败，因为该文件不再存在。如果脚本并行运行，则两者都列出相同的 10 个文件，而不是将前 10 个文件移至 /tmp/task1，接下来的 10 个文件移至 /tmp/task2，您可能会将 4 个移至 /tmp/task1，将 6 个移至 /tmp/task2。或者可能是 5 和 5 或 9 和 1 或任何其他组合。但是每个文件只会在一个任务中结束。

所以没有什么是不正确的；每个文件仍然只处理一次。但这将是低效的，因为您一次可以处理 10 个文件，但您只处理 5 个。如果您想确保在有足够文件可用的情况下始终处理 10 个，则必须进行一些同步。基本上有两种选择：

1. 在列表+副本周围加锁。使用flock(1) 和锁定文件最容易做到这一点。也有两种调用方式：

   1. 通过flock调用整个复制操作：

      flock targdir -c copy-script
      

      这要求您将应排除的部分制作为单独的脚本。

   2. 通过文件描述符锁定。在复制之前，做

      exec 3>targdir/.lock
      flock 3
      

      在它之后

      flock -u 3
      

      这允许您仅锁定部分脚本。这在 Cygwin 中不起作用（但您可能不需要它）。

2. 一个一个地移动文件，直到你有足够的空间。

   ls -1h targdir/*.json > ${TMP_LIST_FILE}
   #                   ^^^ do NOT limit here
   COUNT=0
   while read REMOTE_FILE 
   do
       if mv $REMOTE_FILE $SCRDRL 2>/dev/null; then
           COUNT=$(($COUNT + 1))
       fi
       if [ "$COUNT" -ge "$LIMIT" ]; then
           break
       fi
   done < "${TMP_LIST_FILE}"
   rm -f "${TMP_LIST_FILE}"
   

   mv 有时会失败，在这种情况下，您不计算文件并尝试移动下一个文件，假设 mv 失败是因为文件同时被另一个脚本移动了。每个脚本最多复制$LIMIT 个文件，但可能是相当随机的选择。

附带说明，如果您绝对不需要在while 循环中设置环境变量，则无需临时文件即可。简单地说：

ls -1h targdir/*.json | while read REMOTE_FILE
do
    ...
done

您不能将变量传播到此类循环之外，因为作为管道的一部分，它在子shell 中运行。

如果您确实需要设置环境变量并且可以专门使用 bash（我通常尝试坚持使用/bin/sh），您也可以编写

while read REMOTE_FILE
do
    ...
done <(ls -1h targdir/*.json)

在这种情况下，循环在当前 shell 中运行，但这种重定向是 bash 扩展。

Answer 2

两个 cron 作业将同一个文件移动到同一个路径这一事实对你来说并不重要，除非你被其中一个错误所困扰（一个会成功，另一个会失败）。

您可以使用以下命令忽略错误：

    ...
    mv $REMOTE_FILE $SCRDRL 2>/dev/null
    ...

Answer 3

由于您的脚本应该从列表中移动特定数量的文件，因此两个实例最多只能移动两倍的文件。除非它们甚至相互干扰，否则移动的文件数量可能会更少。

无论如何，这可能是一个糟糕的开始。如果你有办法阻止两个脚本同时运行，你应该这样做。

但是，如果您无法阻止两个脚本实例同时运行，您至少应该强化脚本以防出错：

mv "$REMOTE_FILE" "$SCRDRL" 2>/dev/null

否则您的脚本将产生错误输出（在 cron 脚本中不是好主意）。

此外，我希望您的${TMP_LIST_FILE} 在两种情况下都不相同（您可以在其中使用$$ 来避免这种情况）；否则他们甚至会覆盖这个临时文件，在最坏的情况下会导致包含您不想移动的路径的损坏文件。