【问题标题】:download multiple files from s3 bucket greater than a certain timestamp从 s3 存储桶下载多个大于某个时间戳的文件
【发布时间】:2020-08-16 04:02:47
【问题描述】:

我的 s3 存储桶名称 abc.gz、efg.gz 和 hij.gz 中有 3 个文件,现在一个小时后,相同的文件再次具有相同的名称。我已经下载了较早的文件,因为名称相同或可以是 abc.gz.1、efg.gz.1 和 hij.gz.1。我使用了命令“aws s3 cp s3://my-bucket-bang .--recursive”,它将下载该目录中的所有文件。我只想要每小时推送到我的 s3 存储桶的新文件。我正在寻找 bash 或 Linux 解决方案。

上次修改的 AWS 时间戳采用这种格式“2020 年 8 月 16 日 12:49:45 AM GMT+0530”

如何比较上一个文件和下载的最新文件?

【问题讨论】:

  • 为什么我们允许 amazon-s3 在这里受益于免费的社区支持?亚马逊是否以某种方式资助 StackOverflow?令人遗憾的是,亚马逊 AWS 用户需要他们的闭源商业产品帮助,而这种帮助并非来自亚马逊本身。亚马逊不是自己提供支持而不是免费滥用社区支持吗?

标签: linux bash amazon-s3


【解决方案1】:
aws s3 sync s3://my-bucket-bang/ folder

无需进行花哨的时间比较,只需将文件夹与您的 s3 存储桶同步即可。这是一些文档:Selective file download in AWS S3 CLI

【讨论】:

  • 非常感谢有道理,我能够实现它。
猜你喜欢
  • 2022-01-09
  • 1970-01-01
  • 1970-01-01
  • 2020-09-19
  • 1970-01-01
  • 1970-01-01
  • 2012-01-29
  • 2016-10-27
相关资源
最近更新 更多