如何避免上传部分写入的文件 - Google storage rsync

Question

我正在使用带有选项 rsync 的谷歌云存储 我创建了一个每分钟同步文件的 cronjob。 但是有问题 文件正被部分写入，cronjob 运行，然后它同步文件的一部分，即使它没有完成。 有没有办法解决这个问题？

Answer 1

gsutil rsync 命令无法检查文件是否仍在写入。您将需要协调您的写入和 rsync'ing 作业，以便它们在文件树的不相交部分上运行。例如，您可以安排您的写作作业写入目录 A，而您的 rsync 作业从目录 B rsync，然后切换指针，以便您的写作作业写入目录 B，而您的 rsync 作业写入目录 A。另一个选项是设置建立一个暂存区，在其中复制所有在运行 rsync 作业之前写入的文件。如果您将其放在与写入它们的位置相同的文件系统上，您可以使用硬链接，以便链接操作快速运行（无需字节复制）。