【问题标题】:Remove old s3 objects without lifecycle rule删除没有生命周期规则的旧 s3 对象
【发布时间】:2021-06-21 18:37:39
【问题描述】:

我在 AWS 中有一个存储桶,其中定期上传文件。有一个策略是这个桶不能附加生命周期规则。

我正在寻找可以删除超过 2 周的对象的 lambda。我知道 timedelta 库可用于比较日期,但我不知道如何使用它来检查对象是否超过 2 周(我是 python 新手)。

到目前为止我有:

import boto3
import datetime

s3 = boto3.resource('s3')

now = datetime.datetime.now()
now_format = int(now.strftime("%d%m%Y"))
print(f'it is now {now_format}')

# Get bucket object
my_bucket = s3.Bucket('cost-reports')
all_objects = my_bucket.objects.all()

for each_object in all_objects:
    obj_int = int(each_object.last_modified.strftime('%d%m%Y'))

    print("The object {} was last modified on the {}".format(
        each_object.key, obj_int))

所以这只是使用 strftime 比较,但这实际上也可以吗?还是我必须使用 timedelta 模块,这看起来如何?

【问题讨论】:

  • 正如一般观察:您正在实施可能非常昂贵的解决方法,而不是使用非常便宜和简单的功能,也许更谨慎地挑战不能附加生命周期规则的策略。
  • 您的函数缺少 lambda 处理程序。
  • 嗨@Marcin,只是先在本地测试这个,因此没有处理程序,但感谢检查:)
  • 嗨@Maurice,我已经听取了您的建议并要求进行更改。看起来我们的账户将获得一个专门的存储桶来存放这些可以有生命周期规则的报告。感谢您的建议:)

标签: python amazon-web-services amazon-s3 aws-lambda boto3


【解决方案1】:

您的each_object.last_modifieddatetime 对象,就像now

所以要计算上次修改的天数,应该很简单:

now = datetime.datetime.now().astimezone()
last_modified_days_ago = (now - each_object.last_modified).days

【讨论】:

  • 谢谢你,Marcin,所以当我在 for 循环中尝试时,我得到了错误:“TypeError:不能减去偏移天真和偏移感知日期时间”。碰巧知道这是什么吗?
  • @scrow 我根据stackoverflow.com/a/64860559/248823更新了答案
  • 太棒了,非常感谢@Marcin,这已经奏效了
【解决方案2】:

你可以使用:

from datetime import datetime, timedelta
from dateutil.tz import tzutc, UTC

...

for object in bucket.objects.all():
    if object.last_modified > datetime.now(tzutc()) - timedelta(days = 14):
        <Do something here>

代码复制自:Enhance Python script to download Amazon S3 files created in last 24 hours

【讨论】:

    猜你喜欢
    • 2020-07-28
    • 2020-08-06
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-12-10
    • 1970-01-01
    • 1970-01-01
    • 2019-05-06
    相关资源
    最近更新 更多