以 csv 格式列出 s3 存储桶及其大小

Question

我正在尝试在 csv 中列出 s3 存储桶及其大小。

• 存储桶名称大小
• 存储桶 A 2 GB
• B 桶 10 GB

正在寻找这样的东西......

我可以使用以下代码列出存储桶。

def main():
    with open('size.csv', 'w') as csvfile:
        writer = csv.writer(csvfile)
        writer.writerow([
            'Bucket Name',
            'Bucket Size'

        ])
        with open('accountroles.json') as ec2_file:
            ec2_data = json.load(ec2_file)
        region_list = ['us-west-1']
        for region in region_list:
            for index in range(len(ec2_data['Items'])):
                Account_Number = ec2_data['Items'][index]['Aws_Account_Number']
                Account_Name = ec2_data['Items'][index]['Acc_Name']
                ARN = ec2_data['Items'][index]['ARN']
                b = get_assume_arn_to_keys(Account_Number,Account_Name,ARN)
                #ds_client = boto3.client('s3',region_name=region,aws_access_key_id=``,aws_secret_access_key=``,aws_session_token=``)
                ds_client = boto3.client('s3',region_name=region,aws_access_key_id=b[1],aws_secret_access_key=b[2],aws_session_token=b[3])

                #s3_client = boto3.client('s3')

                bucket_list = ds_client.list_buckets()

                for bucket in bucket_list['Buckets']:
                    ************
                     ??????????
                    writer.writerow([
                        Account_Name,
                        #region,
                        bucket['Name'],
                        Bucketsize

                                   ])


main()

我可以列出存储桶。请帮助我如何继续获取尺寸。 我提到的很少，似乎可以通过 CW 指标获得大小。有什么办法吗。

帮我写剧本。

编辑/更新：

                bucket_list = ds_client.list_buckets()

                for bucket in bucket_list['Buckets']:

                    try:
                        lifecycle = ds_client.get_bucket_lifecycle(Bucket=bucket['Name'])
                        rules = lifecycle['Rules']
                    except:
                        rules = 'No Policy'
                    try:
                        encryption = ds_client.get_bucket_encryption(Bucket=bucket['Name'])
                        Encryptiontype = encryption['ServerSideEncryptionConfiguration']['Rules']
                    except:
                        Encryptiontype = 'Not Encrypted'

                    print(bucket['Name'], rules, Encryptiontype)

谢谢

Answer 1

您可以使用list_objects()。 使用该列表对象，您可以使用选择器 response['Contents'][]['size'] 获取每个对象的键和大小，它保存对象的字节大小。

它的缺点是，如果存储桶中有太多对象，则可能需要时间进行迭代才能获得存储桶的总大小。

Answer 2

这里有一些代码可以计算存储桶的大小。我已将它作为一个函数完成，因此您可以将其合并到您的代码中：

import boto3

def bucket_size(bucket):
    size = 0

    s3_client = boto3.client('s3')

    paginator = s3_client.get_paginator('list_objects_v2')
    page_iterator = paginator.paginate(Bucket = bucket)

    for page in page_iterator:
        for object in page['Contents']:
            size += object['Size']

    # Return size in MB (rounded)
    return size // 1024

# Call function
size = bucket_size('my-bucket')
print(size)

我使用了一个页面迭代器，以防一个存储桶中有超过 1000 个对象。

（除了根据本网站服务条款授予的许可外，本文的内容还根据 MIT-0 获得许可。）