【问题标题】:AWS S3 sync method- possible to ignore modified files completely?AWS S3 同步方法 - 可以完全忽略修改过的文件吗?
【发布时间】:2019-07-10 05:44:08
【问题描述】:

我故意修改每个本地同步的文件(尽管目录名称是唯一的且未修改),这使得同步方法尝试重新下载整个存储桶,花费了过多的时间。

复制本地文件(以保留其时间戳 + 大小)并不是一个真正的选择,因为存储桶大小太大,而且 AWS 同步文档似乎没有排除修改文件的选项。

我希望有一种方法可以防止尝试重新下载本地存在的目录。

有什么想法吗?

非常感谢

【问题讨论】:

  • 这听起来超出了aws s3 sync 的能力,它试图同步文件以使它们匹配。您是否尝试过任何其他方法(例如通过 Python 脚本进行复制)?总共有多少个文件,每次要同步多少个不同?它们是本地存储在目录层次结构中,还是只是平面存储?
  • 谢谢,终于成功了。我想希望同步的文件相同是有道理的。

标签: python amazon-web-services amazon-s3


【解决方案1】:

aws s3 sync --size-only 适合你吗?

--size-only(布尔值)使每个键的大小唯一的标准用于决定是否从源同步到目标。

(强调我的。)

【讨论】:

  • 感谢您的回复,但不幸的是这不起作用。作为任何好奇的人的旁注:因为目录已经存在于本地,同步方法实际上不能覆盖它们,所以没有进行任何修改。但是,与我们可以忽略修改过的文件相比,更新肯定需要数百倍的时间。
  • 所以您想下载任何新的(本地丢失的)文件,但不要触摸任何已经不同步的现有文件?也许这是一个小型 Python 脚本的工作,而不是 aws s3 sync。列出存储桶中的所有文件,从中减去树中所有文件的列表,然后下载其余文件。
  • 太棒了,我今天就试试这个。感谢你们俩的剧本创意
猜你喜欢
  • 1970-01-01
  • 2014-12-09
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2018-03-02
  • 2014-10-24
  • 1970-01-01
  • 2021-05-11
相关资源
最近更新 更多